Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Разведочный информационный поиск)
 
(70 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 4 и 6 курсов на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
Строка 8: Строка 8:
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
 
-
В целях профилактики коронавируса Минобрнауки рекомендовало учебным заведениям с 16 марта 2020 года перейти на дистанционное обучение. Спецкурс будет проводиться по расписанию, по четвергам в 18:00. — ''[[Участник:Vokov|К.В.Воронцов]] 16:27, 19 марта 2020 (MSK)''
 
-
<!--* [https://us04web.zoom.us/j/954421011?pwd=ODBlaXZIcW40ZkJSK2ZvWFFBR2dkQT09 Подключиться к конференции Zoom]
 
-
* Идентификатор конференции: 954 421 011
 
-
* Пароль: 4krAt1
 
-
-->
 
-
* [https://zoom.us/j/2140504487?pwd=MWkwRDRIREdUQzZrOVJLekM1ekNGZz09 Подключиться к конференции Zoom] {{важно|— ссылка обновлена 11.12.2020}}.
 
-
 
-
'''Материалы для первого ознакомления:'''
 
-
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 
-
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 
-
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 
-
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
 
'''Основной материал:'''
'''Основной материал:'''
-
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация]]. {{важно|— обновление 17.03.2020}}.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 10.12.2024}}.
 +
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозаписи, 2023 осень (МФТИ)].
= Программа курса =
= Программа курса =
== Задача тематического моделирования ==
== Задача тематического моделирования ==
-
Презентация: [[Media:Voron20ptm-intro.pdf|(PDF,&nbsp;2,8&nbsp;МБ)]] {{важно|— обновление 09.09.2020}}.
+
Презентация: [[Media:Voron24ptm-intro.pdf|(PDF,&nbsp;1,4&nbsp;МБ)]] {{важно|— обновление 19.09.2024}}.
 +
[https://youtu.be/DU0AQUNW3YI?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
'''Цели и задачи тематического моделирования.'''
'''Цели и задачи тематического моделирования.'''
Строка 41: Строка 30:
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
* Мультимодальные тематические модели.
 
-
'''Библиотека [[BigARTM]].'''
+
'''Практика тематического моделирования.'''
 +
* Проект с открытым кодом BigARTM.
 +
* Этапы решения практических задач.
 +
* Методы предварительной обработки текста.
 +
* Датасеты и практические задания по курсу.
 +
 
 +
== Онлайновый ЕМ-алгоритм и аддитивная регуляризация ==
 +
Презентация: [[Media:Voron24ptm-regular.pdf|(PDF,&nbsp;1,3&nbsp;МБ)]] {{важно|— обновление 03.10.2024}}.
 +
[https://youtu.be/mUMfoBlslQE?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
 +
 
 +
'''Часто используемые регуляризаторы.'''
 +
* Сглаживание и разреживание.
 +
* Частичное обучение.
 +
* Декоррелирование тем.
 +
* Разреживание для отбора тем.
 +
 
 +
'''Онлайновый ЕМ-алгоритм.'''
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
* Оффлайновый регуляризованный EM-алгоритм.
* Оффлайновый регуляризованный EM-алгоритм.
-
* Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
+
* Улучшение сходимости несмещёнными оценками.
-
* Проект с открытым кодом BigARTM.
+
* Подбор коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Библиотеки BigARTM и TopicNet.
-
== Разведочный информационный поиск ==
+
'''Эксперименты с регуляризацией.'''
-
Презентация: [[Media:Voron20ptm-exp.pdf|(PDF,&nbsp;2,9&nbsp;МБ)]] {{важно|— обновление 04.10.2020}}.
+
* Производительность BigARTM
-
[https://youtu.be/bA6wS6j6akU Видеозапись]
+
* Оценивание качества: перплексия, когерентность, лексическое ядро
 +
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
 +
* Комбинирование регуляризаторов, эмпирические рекомендации.
-
'''Разведочный информационный поиск.'''
+
== Тематический информационный поиск ==
-
* Концепция разведочного поиска.
+
Презентация: [[Media:Voron24ptm-exp.pdf|(PDF,&nbsp;4,8&nbsp;МБ)]] {{важно|— обновление 10.10.2024}}.
-
* Особенности разведочного поиска.
+
[https://youtu.be/2SkbbDYcBUQ?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
* Поисково-рекомендательная система KnowledgeFactory.
+
-
'''Часто используемые регуляризаторы.'''
+
'''Мультимодальные тематические модели.'''
-
* Сглаживание, разреживание, декоррелирование.
+
* Примеры модальностей.
-
* Модальности.
+
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
* Иерархии тем. Послойное построение иерархии. Псевдодокументы родительских тем.
+
 
 +
'''Иерархические тематические модели.'''
 +
* Иерархии тем. Послойное построение иерархии.
 +
* Регуляризаторы для разделения тем на подтемы.
 +
* Псевдодокументы родительских тем.
 +
* Модальность родительских тем.
'''Эксперименты с тематическим поиском.'''
'''Эксперименты с тематическим поиском.'''
Строка 67: Строка 79:
* Тематическая модель для документного поиска.
* Тематическая модель для документного поиска.
* Оптимизация гиперпараметров.
* Оптимизация гиперпараметров.
 +
 +
'''Проект «Мастерская знаний»'''
 +
* Поисково-рекомендательная система SciSearch.ru
 +
* Векторный поиск для формирования тематических подборок
 +
* Требования к тематическим моделям для научного информационного поиска
== Оценивание качества тематических моделей ==
== Оценивание качества тематических моделей ==
-
Презентация: [[Media:Voron20ptm-quality.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 04.10.2020}}.
+
Презентация: [[Media:Voron24ptm-quality.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 17.10.2024}}.
 +
[https://youtu.be/OoIetK1pTUA?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
'''Измерение качества тематических моделей.'''
'''Измерение качества тематических моделей.'''
* Правдоподобие и перплексия.
* Правдоподобие и перплексия.
-
* Интерпретируемость и когерентность.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
* Разреженность и различность.
* Разреженность и различность.
-
 
-
'''Эксперименты с регуляризацией.'''
 
-
* Комбинирование регуляризаторов.
 
-
* Проблема определения числа тем.
 
-
* Проблема несбалансированности тем.
 
'''Проверка гипотезы условной независимости.'''
'''Проверка гипотезы условной независимости.'''
Строка 86: Строка 99:
* Применение статистических тестов условной независимости.
* Применение статистических тестов условной независимости.
-
== Обзор базовых инструментов ==
+
'''Проблема определения числа тем.'''
-
''Александр Романенко'', ''Мурат Апишев''.
+
* Разреживающий регуляризатор для отбора тем.
 +
* Эксперименты на синтетических и реальных данных.
 +
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
 +
 
 +
'''Проблема тематической несбалансированности в данных'''
 +
* Проблема малых тем и тем-дубликатов
 +
* Тематическая несбалансированность как основная причина неинтерпретируемости тем
 +
* Эксперименты с регуляризаторами отбора тем и декоррелирования
 +
* Регуляризатор семантической однородности
 +
 
 +
== BigARTM и базовые инструменты ==
 +
''Мурат Апишев''.
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
 +
[https://youtu.be/AIN00vWOJGw Видеозапись]
'''Предварительная обработка текстов'''
'''Предварительная обработка текстов'''
-
* Парсинг "сырых" данных.
+
* Парсинг «сырых» данных.
* Токенизация, стемминг и лемматизация.
* Токенизация, стемминг и лемматизация.
* Выделение энграмм.
* Выделение энграмм.
Строка 107: Строка 133:
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
 +
 +
== Теория ЕМ-алгоритма ==
 +
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
 +
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
 +
 +
'''Классические модели PLSA, LDA.'''
 +
* Модель PLSA.
 +
* Модель LDA. Распределение Дирихле и его свойства.
 +
* Максимизация апостериорной вероятности для модели LDA.
 +
 +
'''Общий EM-алгоритм.'''
 +
* EM-алгоритм для максимизации неполного правдоподобия.
 +
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
 +
* Альтернативный вывод формул ARTM.
 +
 +
'''Эксперименты с моделями PLSA, LDA.'''
 +
* Проблема неустойчивости (на синтетических данных).
 +
* Проблема неустойчивости (на реальных данных).
 +
* Проблема переобучения и робастные модели.
 +
 +
== Байесовское обучение модели LDA ==
 +
Презентация: [[Media:Voron24ptm-bayes.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
 +
[https://youtu.be/ZAtfN0ApQh0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=20 Видеозапись]
 +
 +
'''Вариационный байесовский вывод.'''
 +
* Основная теорема вариационного байесовского вывода.
 +
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
 +
 +
'''Сэмплирование Гиббса.'''
 +
* Основная теорема о сэмплировании Гиббса.
 +
* [[Сэмплирование Гиббса]] для модели LDA.
 +
* GS ЕМ-алгоритм для модели LDA.
 +
 +
'''Замечания о байесовском подходе.'''
 +
* Оптимизация гиперпараметров в LDA.
 +
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
 +
* Сравнение байесовского подхода и ARTM.
 +
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
== Тематические модели сочетаемости слов ==
== Тематические модели сочетаемости слов ==
-
Презентация: [[Media:Voron20ptm-cooc.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 07.10.2020}}.
+
Презентация: [[Media:Voron24ptm-cooc.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 07.11.2024}}.
 +
[https://youtu.be/zuN5HECqv3I?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
'''Мультиграммные модели.'''
'''Мультиграммные модели.'''
Строка 118: Строка 184:
'''Автоматическое выделение терминов.'''
'''Автоматическое выделение терминов.'''
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
-
* Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
* Критерии тематичности фраз.
* Критерии тематичности фраз.
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
Строка 127: Строка 193:
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
-
* Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости.
 
* Регуляризаторы когерентности.
* Регуляризаторы когерентности.
Строка 133: Строка 198:
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
== Анализ зависимостей ==
+
== Моделирование локального контекста ==
-
Презентация: [[Media:Voron20ptm-rel.pdf|(PDF,&nbsp;1,9&nbsp;МБ)]] {{важно|— обновление 28.10.2020}}.
+
Презентация: [[Media:Voron24ptm-local.pdf|(PDF,&nbsp;1,8&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
 +
[https://youtu.be/Xe36kQPlbHY?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
'''Зависимости, корреляции, связи.'''
+
'''Линейная тематизация текста.'''
-
* Тематические модели классификации и регрессии.
+
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
-
* Модель коррелированных тем CTM (Correlated Topic Model).
+
* Локализация E-шага.
-
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
+
* Двунаправленная тематическая модель контекста.
 +
* Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.
-
'''Время и пространство.'''
+
'''Аналогия с моделью само-внимания (self-attention) и трансформером.'''
-
* Регуляризаторы времени.
+
* Модель внимания Query-Key-Value.
-
* Обнаружение и отслеживание тем.
+
* Трансформер: кодировщик и декодировщик.
-
* Гео-пространственные модели.
+
* Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
-
'''Социальные сети.'''
+
== Моделирование сегментированного текста ==
-
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
+
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
-
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
+
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 Видеозапись]
-
* Регуляризаторы для выявления социальных ролей пользователей.
+
 
 +
'''Позиционный регуляризатор в ARTM.'''
 +
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
 +
 
 +
'''Тематические модели предложений.'''
 +
* Тематическая модель предложений senLDA.
 +
* Модель коротких сообщений Twitter-LDA.
 +
* Сегментоиды. Лексические цепочки.
 +
 
 +
'''Тематическая сегментация текста.'''
 +
* Метод TopicTiling. Критерии определения границ сегментов.
 +
* Критерии качества сегментации.
 +
* Оптимизация параметров модели TopicTiling.
== Мультимодальные тематические модели ==
== Мультимодальные тематические модели ==
-
Презентация: [[Media:Voron20ptm-modal.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 28.10.2020}}.
+
Презентация: [[Media:Voron24ptm-modal.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 05.12.2024}}.
 +
[https://youtu.be/AfwH0A3NJCQ?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
'''Мультиязычные тематические модели.'''
'''Мультиязычные тематические модели.'''
Строка 159: Строка 241:
* Кросс-язычный информационный поиск.
* Кросс-язычный информационный поиск.
-
'''Трёхматричные и гиперграфовые модели.'''
+
'''Трёхматричные модели.'''
* Модели трёхматричных разложений. Понятие порождающей модальности.
* Модели трёхматричных разложений. Понятие порождающей модальности.
* Автор-тематическая модель (author-topic model).
* Автор-тематическая модель (author-topic model).
Строка 167: Строка 249:
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
 +
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
== Моделирование связного текста ==
+
== Анализ зависимостей ==
-
Презентация: [[Media:Voron20ptm-segm.pdf|(PDF,&nbsp;2,5&nbsp;МБ)]] {{важно|— обновление 28.10.2020}}.
+
Презентация: [[Media:Voron24ptm-rel.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 05.12.2024}}.
 +
[https://youtu.be/uKCMr9yK3gw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Модели связного текста.'''
+
'''Зависимости, корреляции, связи.'''
-
* Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
+
* Тематические модели классификации и регрессии.
-
* Контекстная документная кластеризация (CDC).
+
* Модель коррелированных тем CTM (Correlated Topic Model).
-
* Метод лексических цепочек.
+
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
'''Тематическая сегментация.'''
+
'''Время и пространство.'''
-
* Метод TopicTiling. Критерии определения границ сегментов.
+
* Регуляризаторы времени.
-
* Критерии качества сегментации.
+
* Обнаружение и отслеживание тем.
-
* Оптимизация параметров модели TopicTiling.
+
* Гео-пространственные модели.
-
'''Позиционный регуляризатор в ARTM.'''
+
'''Социальные сети.'''
-
* Гипотеза о сегментной структуре текста.
+
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
-
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
+
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
-
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
+
* Регуляризаторы для выявления социальных ролей пользователей.
-
== Теория ЕМ-алгоритма ==
+
== Именование и суммаризация тем ==
-
Презентация: [[Media:Voron20mipt-ptm-emlda.pdf|(PDF,&nbsp;1,2&nbsp;МБ)]] {{важно|— обновление 18.11.2020}}.
+
Презентация: [[Media:Voron23ptm-sum.pdf|(PDF,&nbsp;4,3&nbsp;МБ)]] {{важно|— обновление 04.05.2024}}.
-
 
+
[https://youtu.be/nShxhkPbGWY Видеозапись]
-
'''Классические модели PLSA, LDA.'''
+
-
* Модель PLSA.
+
-
* Модель LDA. Распределение Дирихле и его свойства.
+
-
* Максимизация апостериорной вероятности для модели LDA.
+
-
 
+
-
'''Общий EM-алгоритм.'''
+
-
* EM-алгоритм для максимизации неполного правдоподобия.
+
-
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
+
-
* Альтернативный вывод формул ARTM.
+
-
 
+
-
'''Эксперименты с моделями PLSA, LDA.'''
+
-
* Проблема неустойчивости (на синтетических данных).
+
-
* Проблема неустойчивости (на реальных данных).
+
-
* Проблема переобучения и робастные модели.
+
-
 
+
-
== Байесовское обучение модели LDA ==
+
-
Презентация: [[Media:Voron20ptm-bayes.pdf|(PDF,&nbsp;1,9&nbsp;МБ)]] {{важно|— обновление 18.11.2020}}.
+
-
 
+
-
'''Вариационный байесовский вывод.'''
+
-
* Основная теорема вариационного байесовского вывода.
+
-
* [[Вариационный байесовский вывод]] для модели LDA.
+
-
* VB ЕМ-алгоритм для модели LDA.
+
-
 
+
-
'''Сэмплирование Гиббса.'''
+
-
* Основная теорема о сэмплировании Гиббса.
+
-
* [[Сэмплирование Гиббса]] для модели LDA.
+
-
* GS ЕМ-алгоритм для модели LDA.
+
-
 
+
-
'''Замечания о байесовском подходе.'''
+
-
* Оптимизация гиперпараметров в LDA.
+
-
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
+
-
* Сравнение байесовского подхода и ARTM.
+
-
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
+
-
 
+
-
== Суммаризация и автоматическое именование тем ==
+
-
Презентация: [[Media:Voron20ptm-sum.pdf|(PDF,&nbsp;3,0&nbsp;МБ)]] {{важно|— обновление 25.11.2020}}.
+
-
[https://youtu.be/bfAG-ZZDz3Q Видеозапись]
+
'''Методы суммаризации текстов.'''
'''Методы суммаризации текстов.'''
Строка 240: Строка 287:
* Оценивание качества именования тем.
* Оценивание качества именования тем.
-
'''Тематическое моделирование связного текста'''
+
'''Задача суммаризации темы'''
-
* Тематизация фрагментов текста для суммаризации и именования тем.
+
* Задача ранжирования документов
-
* Тематическое моделирование без матрицы <tex>\Theta</tex>.
+
* Задача фильтрации репрезентативных релевантных фраз.
-
* Двунаправленная тематическая модель контекста.
+
* Задача генерации связного текста
-
== Визуализация ==
+
== Проект «Тематизатор» ==
-
Презентация: [[Media:Voron20ptm-vis.pdf|(PDF,&nbsp;10,1&nbsp;МБ)]] {{важно|— обновление 11.01.2021}}.
+
Презентация: [[Media:Voron23ptm-project.pdf|(PDF,&nbsp;6,2&nbsp;МБ)]] {{важно|— обновление 21.09.2023}}.
-
[https://youtu.be/xc33THjavwk Видеозапись]
+
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Визуализация больших текстовых коллекций'''
+
'''Визуализация тематических моделей'''
-
* Концепция distant reading
+
* Концепция distant reading.
-
* Карты знаний
+
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
-
* Иерархии, взаимосвязи, динамика, сегментация
+
* Спектр тем.
 +
* Визуализация матричного разложения.
-
'''Визуализация тематических моделей'''
+
'''Примеры прикладных задач'''
-
* Визуализация матричного разложения
+
* Поиск этно-релевантных тем в социальных сетях.
-
* Проект VisARTM
+
* Анализ программ развития российских вузов.
-
* Спектр тем
+
* Поиск и рубрикация научных статей на 100 языках.
 +
* Проекты Школы Прикладного Анализа Данных.
-
'''Визуализация для научного разведочного поиска'''
+
'''Анализ требований к «Тематизатору»'''
-
* Тематическая карта
+
* Функциональные требования.
-
* Задача оценивания когнитивной сложности текста
+
* Требования к интерпретируемости.
-
* Иерархическая тематическая суммаризация
+
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
 +
* Этапизация работ.
=Отчетность по курсу=
=Отчетность по курсу=
Условием сдачи курса является выполнение индивидуальных практических заданий.
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
'''Рекомендуемая структура отчёта об исследовании по индивидуальному заданию:'''
+
'''Рекомендуемая структура отчёта об исследовании:'''
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
* Описание простого решения baseline
* Описание простого решения baseline
Строка 285: Строка 335:
=Литература=
=Литература=
-
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]. 2019.
+
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. 2023.
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
-
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 
<!--
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
Строка 317: Строка 367:
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
 +
 +
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
= Подстраницы =
= Подстраницы =
Строка 326: Строка 383:
<!---------------------------------------------------
<!---------------------------------------------------
-
'''Внутренние метрики качества модели.'''
+
'''Модели связного текста.'''
-
* Правдоподобие и перплексия.
+
* Контекстная документная кластеризация (CDC).
-
* Интерпретируемость и когерентность.
+
* Метод лексических цепочек.
-
* Разреженность и различность.
+
-
'''Эксперименты с регуляризаторами.'''
+
'''Инициализация.'''
-
* Комбинирование регуляризаторов сглаживания, разреживания, декоррелирования.
+
* Случайная инициализация. Инициализация по документам.
-
* Проблема несбалансированности тем. Радиус семантической однородности тем.
+
* Контекстная документная кластеризация.
-
* Проверка гипотезы условной независимости
+
* Поиск якорных слов. Алгоритм Ароры.
-
 
+
-
'''Определение числа тем.'''
+
-
* Регуляризатор отбора тем. Эксперименты на синтетических и реальных данных.
+
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
-
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
+
'''Расширяемые тематические модели.'''
'''Расширяемые тематические модели.'''
Строка 361: Строка 412:
== Инициализация, траектория регуляризации, тесты адекватности ==
== Инициализация, траектория регуляризации, тесты адекватности ==
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
 
-
'''Инициализация.'''
 
-
* Случайная инициализация. Инициализация по документам.
 
-
* Контекстная документная кластеризация.
 
-
* Поиск якорных слов. Алгоритм Ароры.
 
'''Траектория регуляризации.'''
'''Траектория регуляризации.'''

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 1,4 МБ) — обновление 19.09.2024. Видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Онлайновый ЕМ-алгоритм и аддитивная регуляризация

Презентация: (PDF, 1,3 МБ) — обновление 03.10.2024. Видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Улучшение сходимости несмещёнными оценками.
  • Подбор коэффициентов регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Эксперименты с регуляризацией.

  • Производительность BigARTM
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.

Тематический информационный поиск

Презентация: (PDF, 4,8 МБ) — обновление 10.10.2024. Видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Проект «Мастерская знаний»

  • Поисково-рекомендательная система SciSearch.ru
  • Векторный поиск для формирования тематических подборок
  • Требования к тематическим моделям для научного информационного поиска

Оценивание качества тематических моделей

Презентация: (PDF, 1,6 МБ) — обновление 17.10.2024. Видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

Проблема определения числа тем.

  • Разреживающий регуляризатор для отбора тем.
  • Эксперименты на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов
  • Тематическая несбалансированность как основная причина неинтерпретируемости тем
  • Эксперименты с регуляризаторами отбора тем и декоррелирования
  • Регуляризатор семантической однородности

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Теория ЕМ-алгоритма

Презентация: (PDF, 2,0 МБ) — обновление 25.10.2024. Видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 25.10.2024. Видеозапись

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,7 МБ) — обновление 07.11.2024. Видеозапись

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Моделирование локального контекста

Презентация: (PDF, 1,8 МБ) — обновление 21.11.2024. Видеозапись

Линейная тематизация текста.

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага.
  • Двунаправленная тематическая модель контекста.
  • Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.

Аналогия с моделью само-внимания (self-attention) и трансформером.

  • Модель внимания Query-Key-Value.
  • Трансформер: кодировщик и декодировщик.
  • Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.

Моделирование сегментированного текста

Презентация: (PDF, 2,1 МБ) — обновление 21.11.2024. Видеозапись

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Тематические модели предложений.

  • Тематическая модель предложений senLDA.
  • Модель коротких сообщений Twitter-LDA.
  • Сегментоиды. Лексические цепочки.

Тематическая сегментация текста.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации.
  • Оптимизация параметров модели TopicTiling.

Мультимодальные тематические модели

Презентация: (PDF, 2,7 МБ) — обновление 05.12.2024. Видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Анализ зависимостей

Презентация: (PDF, 2,7 МБ) — обновление 05.12.2024. Видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Именование и суммаризация тем

Презентация: (PDF, 4,3 МБ) — обновление 04.05.2024. Видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Проект «Тематизатор»

Презентация: (PDF, 6,2 МБ) — обновление 21.09.2023. Видеозапись

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. 2023.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Личные инструменты