Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(вернул voron-2014-task-PTM.pdf)
 
(273 промежуточные версии не показаны)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — [[аддитивная регуляризация тематических моделей]]. Рассматриваются свойства интерпретируемости, устойчивости и полноты тематических моделей, а также способы их измерения. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.
+
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
== Программа курса 2016 ==
+
'''Основной материал:'''
-
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 10.12.2024}}.
 +
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозаписи, 2023 осень (МФТИ)].
-
=== Введение ===
+
= Программа курса =
-
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 27.02.2016}}.
+
-
* Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
+
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. [[Порождающая модель]] документа как вероятностной смеси тем.
+
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
-
* [[Вероятностный латентный семантический анализ]] (PLSA).
+
-
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]], [[Условия Каруша–Куна–Таккера]]. Униграммные модели коллекции и документа.
+
-
* Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
+
-
* ЕМ-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
+
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
-
=== Обзор задач и моделей ===
+
== Задача тематического моделирования ==
-
Презентация: [[Media:Voron-PTM-2.pdf|(PDF, 8,3 МБ)]] {{важно|— обновление 27.02.2016}}.
+
Презентация: [[Media:Voron24ptm-intro.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 19.09.2024}}.
-
* Разновидности тематических моделей.
+
[https://youtu.be/DU0AQUNW3YI?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
* Средства визуализации тематических моделей.
+
-
* Разведочный информационный поиск и требования к тематическим моделям.
+
-
* Задача поиска релевантных тем в социальных сетях.
+
-
* Применение тематического моделирования для [[Технология информационного анализа электрокардиосигналов|информационного анализа электрокардиосигналов]].
+
-
* Динамическая модель коллекции пресс-релизов.
+
-
* Проект [[BigARTM]].
+
-
* Открытые проблемы и направления исследований.
+
-
=== Аддитивная регуляризация тематических моделей ===
+
'''Цели и задачи тематического моделирования.'''
-
Презентация: [[Media:Voron-PTM-3.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
 +
* Вероятностная модель порождения текста.
 +
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
 +
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
* Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
+
'''Аддитивная регуляризация тематических моделей.'''
-
* Эксперименты на синтетических данных. Демонстрация неустойчивости.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* Эксперименты по устойчивости на реальных текстовых коллекциях.
+
* Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]].
-
* [[Аддитивная регуляризация тематических моделей]].
+
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
-
* Теорема о необходимых условиях максимума правдоподобия для ARTM.
+
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
* [[Дивергенция Кульбака-Лейблера]].
+
-
* Регуляризаторы сглаживания и разреживания.
+
-
* [[Латентное размещение Дирихле]] (LDA). Свойства [[Распределение Дирихле|распределения Дирихле]].
+
-
* Принцип максимума апостериорной вероятности. LDA как частный случай ARTM.
+
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
-
=== Регуляризаторы для улучшения интерпретируемости тем ===
+
'''Практика тематического моделирования.'''
-
Презентация: [[Media:Voron-PTM-4.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Проект с открытым кодом BigARTM.
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
* Этапы решения практических задач.
-
* Частичное обучение как разновидность сглаживания.
+
* Методы предварительной обработки текста.
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем. Примеры: выделение тематики эпидемий, межэтнических отношений.
+
* Датасеты и практические задания по курсу.
-
* Регуляризатор декоррелирования тем.
+
-
* Регуляризатор когерентности тем.
+
-
* Регуляризатор отбора тем.
+
 +
== Онлайновый ЕМ-алгоритм и аддитивная регуляризация ==
 +
Презентация: [[Media:Voron24ptm-regular.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 03.10.2024}}.
 +
[https://youtu.be/mUMfoBlslQE?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
== Программа курса 2015 ==
+
'''Часто используемые регуляризаторы.'''
-
* Файл с описанием заданий: [[Media:voron-2015-task-PTM.pdf|voron-2014-task-PTM.pdf]]
+
* Сглаживание и разреживание.
 +
* Частичное обучение.
 +
* Декоррелирование тем.
 +
* Разреживание для отбора тем.
-
=== Задачи анализа текстов и вероятностные модели ===
+
'''Онлайновый ЕМ-алгоритм.'''
 +
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
 +
* Оффлайновый регуляризованный EM-алгоритм.
 +
* Улучшение сходимости несмещёнными оценками.
 +
* Подбор коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Библиотеки BigARTM и TopicNet.
-
'''Задачи классификации текстов.'''
+
'''Эксперименты с регуляризацией.'''
-
* Коллекция текстовых документов. Векторное представление документа.
+
* Производительность BigARTM
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
* Оценивание качества: перплексия, когерентность, лексическое ядро
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка.
+
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
-
* Линейный классификатор. Наивный байесовский классификатор.
+
* Комбинирование регуляризаторов, эмпирические рекомендации.
-
* Задача распознавания языка текста.
+
-
* Задача распознавание жанра текста. Распознавание научных текстов. Примеры признаков.
+
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
-
* Задача анализа тональности.
+
-
'''Задачи предварительной обработки текстов.'''
+
== Тематический информационный поиск ==
-
* Очистка: удаление номеров страниц (колонтитулов), переносов, опечаток, оглавлений, таблиц, рисунков, нетекстовой информации.
+
Презентация: [[Media:Voron24ptm-exp.pdf|(PDF, 4,8 МБ)]] {{важно|— обновление 10.10.2024}}.
-
* Лемматизация и стемминг. Сравнение готовых инструментальных средств.
+
[https://youtu.be/2SkbbDYcBUQ?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
* Выделение и удаление стоп-слов и редких слов.
+
-
'''Задачи информационного поиска.'''
+
'''Мультимодальные тематические модели.'''
-
* Задача поиска документов по запросу. Инвертированный индекс.
+
* Примеры модальностей.
-
* Меры сходства векторов частот. Косинусная мера сходства. Расстояние Хеллингера.
+
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
* Дивергенция Кульбака-Леблера и её свойства. Дивергенция Кресси-Рида.
+
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
'''Униграммная модель документов и коллекции.'''
+
'''Иерархические тематические модели.'''
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
* Иерархии тем. Послойное построение иерархии.
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
* Регуляризаторы для разделения тем на подтемы.
-
* Униграммная модель документов и коллекции.
+
* Псевдодокументы родительских тем.
-
* ''Ликбез.'' Теорема Куна-Таккера.
+
* Модальность родительских тем.
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
-
'''Литература:''' [Маннинг 2011].
+
'''Эксперименты с тематическим поиском.'''
 +
* Методика измерения качества поиска.
 +
* Тематическая модель для документного поиска.
 +
* Оптимизация гиперпараметров.
-
=== Вероятностный латентный семантический анализ ===
+
'''Проект «Мастерская знаний»'''
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
* Поисково-рекомендательная система SciSearch.ru
 +
* Векторный поиск для формирования тематических подборок
 +
* Требования к тематическим моделям для научного информационного поиска
-
'''Мотивации вероятностного тематического моделирования
+
== Оценивание качества тематических моделей ==
-
* Идея понижения размерности: переход от вектора (терминов) к вектору тем.
+
Презентация: [[Media:Voron24ptm-quality.pdf|(PDF, 1,6 МБ)]] {{важно|— обновление 17.10.2024}}.
-
* Цели тематического моделирования: разведочный поиск научной информации, навигация и систематизация, агрегирование новостных потоков, классификация и категоризация текстов, обход проблем синонимии и омонимии.
+
[https://youtu.be/OoIetK1pTUA?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
'''Задача тематического моделирования.'''
+
'''Измерение качества тематических моделей.'''
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
* Правдоподобие и перплексия.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
 +
* Разреженность и различность.
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Проверка гипотезы условной независимости.'''
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
* Элементарная интерпретация ЕМ-алгоритма: Е-шаг как формула Байеса для апостериорной вероятности темы, М-шаг как частотные оценки условных вероятностей.
+
* Регуляризатор семантической однородности.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
* Применение статистических тестов условной независимости.
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
'''Проблема определения числа тем.'''
-
* Проблема больших данных.
+
* Разреживающий регуляризатор для отбора тем.
-
* Эвристика разделения М-шага.
+
* Эксперименты на синтетических и реальных данных.
-
* Эвристика разделения коллекции на пачки документов.
+
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
-
* Добавление новых документов (folding-in).
+
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
'''Проведение экспериментов на модельных данных.'''
+
'''Проблема тематической несбалансированности в данных'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Проблема малых тем и тем-дубликатов
-
* Распределение Дирихле. Генерация разреженных и сглаженных векторов дискретных распределений из распределения Дирихле.
+
* Тематическая несбалансированность как основная причина неинтерпретируемости тем
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Эксперименты с регуляризаторами отбора тем и декоррелирования
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
* Регуляризатор семантической однородности
-
'''Задание 1.1'''
+
== BigARTM и базовые инструменты ==
-
Обязательные пункты: 1–3 и любой из последующих.
+
''Мурат Апишев''.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
Презентация: [[Media:Base_instruments.zip‎|(zip, 0,6 МБ)]] {{важно|— обновление 17.02.2017}}.
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
# Реализовать рациональный ЕМ-алгоритм.
+
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
-
# Исследовать влияние случайного начального приближения на устойчивость решения. Построить эмпирические распределения и доверительные интервалы для расстояний Хеллингера между истинными матрицами и восстановленными.
+
-
# Исследовать влияние разреженности матриц Фи и Тета на устойчивость решения.
+
-
# Исследовать полноту решения. Сколько запусков со случайным начальным приближением необходимо сделать, чтобы найти все исходные темы? Как различность и разреженность исходных тем влияет на полноту?
+
-
'''Литература:''' [Hofmann 1999].
+
'''Предварительная обработка текстов'''
 +
* Парсинг «сырых» данных.
 +
* Токенизация, стемминг и лемматизация.
 +
* Выделение энграмм.
 +
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
===Латентное размещение Дирихле===
+
'''Библиотека BigARTM'''
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
* Методологические рекоммендации по проведению экспериментов.
 +
* Установка [[BigARTM]].
 +
* Формат и импорт входных данных.
 +
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
 +
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
'''Латентное размещение Дирихле (LDA)'''
+
'''Дополнительный материал:'''
-
* Свойства [[Распределение Дирихле|распределения Дирихле]].
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 17.03.2017}}.
-
* Принцип максимума апостериорной вероятности. Модифицированные формулы М-шага.
+
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
-
* [[Байесовский вывод]]. Свойство сопряжённости мультиномиального распределения и распределения Дирихле. Другие модифицированные формулы М-шага.
+
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
* Обзор модификаций формул М-шага.
+
-
* Методы оптимизации гиперпараметров.
+
-
* Небайесовская интерпретация модели LDA.
+
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
== Теория ЕМ-алгоритма ==
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF, 2,0 МБ)]] {{важно|— обновление 25.10.2024}}.
-
* Эвристика сэмплирования. Алгоритм сэмплирования Гиббса.
+
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
'''Робастные тематические модели.'''
+
'''Классические модели PLSA, LDA.'''
-
* Робастная модель с фоном и шумом.
+
* Модель PLSA.
-
* Упрощённая робастная модель.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Почему робастный PLSA лучше, чем LDA. Эффект повышения правдоподобия (перплексии) в робастных моделях с шумом.
+
* Максимизация апостериорной вероятности для модели LDA.
-
'''Способы формирования начальных приближений.'''
+
'''Общий EM-алгоритм.'''
-
* Случайная инициализация.
+
* EM-алгоритм для максимизации неполного правдоподобия.
-
* Инициализация по документам.
+
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
-
* Контекстная документная кластеризация.
+
* Альтернативный вывод формул ARTM.
-
* Поиск якорных слов. Алгоритм Ароры.
+
-
'''Задание 1.2'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
Обязательные пункты: 1 и любой из последующих.
+
* Проблема неустойчивости (на синтетических данных).
-
# Реализовать онлайновый алгоритм OEM.
+
* Проблема неустойчивости (на реальных данных).
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
* Проблема переобучения и робастные модели.
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
-
# Исследовать возможность улучшения качества модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
-
# Исследовать влияние гиперпараметров на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Hoffman 2010], [Asuncion 2009].
+
== Байесовское обучение модели LDA ==
 +
Презентация: [[Media:Voron24ptm-bayes.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 25.10.2024}}.
 +
[https://youtu.be/ZAtfN0ApQh0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=20 Видеозапись]
-
===Аддитивная регуляризация тематических моделей===
+
'''Вариационный байесовский вывод.'''
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. PLSA. EM-алгоритм.
+
* Основная теорема вариационного байесовского вывода.
 +
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
-
'''Многокритериальная регуляризация.'''
+
'''Сэмплирование Гиббса.'''
-
* Некорректность постановки задачи тематического моделирования.
+
* Основная теорема о сэмплировании Гиббса.
-
* [[Аддитивная регуляризация тематических моделей]].
+
* [[Сэмплирование Гиббса]] для модели LDA.
-
* Вывод формулы M-шага для регуляризованного ЕМ-алгоритма.
+
* GS ЕМ-алгоритм для модели LDA.
-
* Проект [[BigARTM]].
+
-
'''Регуляризаторы сглаживания и разреживания.'''
+
'''Замечания о байесовском подходе.'''
-
* Максимизация и минимизация KL-дивергенции.
+
* Оптимизация гиперпараметров в LDA.
-
* Альтернативный вариант разреживания через L0-регуляризацию.
+
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
* Сравнение байесовского подхода и ARTM.
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
-
'''Регуляризаторы частичного обучения.'''
+
== Тематические модели сочетаемости слов ==
-
* Частичное обучение как выборочное сглаживание.
+
Презентация: [[Media:Voron24ptm-cooc.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 07.11.2024}}.
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем.
+
[https://youtu.be/zuN5HECqv3I?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
* Пример: выделение тематики эпидемий, этнических конфликтов.
+
-
'''Ковариационные регуляризаторы.'''
+
'''Мультиграммные модели.'''
-
* Дековариация тем.
+
* Модель BigramTM.
-
* Тематические модели цитирования.
+
* Модель Topical N-grams (TNG).
-
* Задача выявления корреляций между темами, модель CTM.
+
* Мультимодальная мультиграммная модель.
-
* Оценивание параметров (матрицы ковариаций) в модели CTM.
+
-
'''Регуляризаторы для классификации и регрессии.'''
+
'''Автоматическое выделение терминов.'''
-
* Задачи регрессии на текстах. Примеры. Регуляризатор. Формула М-шага.
+
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
-
* Задачи классификации текстов. Примеры. Регуляризатор. Формула М-шага.
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
 +
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
'''Задание 1.3'''
+
'''Тематические модели дистрибутивной семантики.'''
-
Обязательные пункты: 1 и любой из остальных.
+
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
-
# Исследовать зависимость правдоподобия модели и точности восстановления от степени разреженности исходных модельных данных.
+
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
-
# Исследовать влияние разреживания на правдоподобие модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на правдоподобие модели.
+
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
-
# Исследовать влияние частичной разметки на правдоподобие модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения правдоподобия и устойчивости модели.
+
* Регуляризаторы когерентности.
-
# Исследовать влияние сглаживания на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Воронцов, 2013, 2015], [Chemudugunta, 2006].
+
'''Дополнительный материал:'''
 +
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
===Оценивание качества тематических моделей===
+
== Моделирование локального контекста ==
 +
Презентация: [[Media:Voron24ptm-local.pdf|(PDF,&nbsp;1,8&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
 +
[https://youtu.be/Xe36kQPlbHY?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
'''Реальные данные.'''
+
'''Линейная тематизация текста.'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
-
* Внутренние и внешние критерии качества.
+
* Локализация E-шага.
-
* Дополнительные данные для построения внешних критериев качества.
+
* Двунаправленная тематическая модель контекста.
 +
* Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.
-
'''Перплексия и правдоподобие.'''
+
'''Аналогия с моделью само-внимания (self-attention) и трансформером.'''
-
* Определение и интерпретация перплекcии.
+
* Модель внимания Query-Key-Value.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
* Трансформер: кодировщик и декодировщик.
-
* Проблема сравнения моделей с разными словарями.
+
* Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
-
* Относительная перплексия.
+
-
''' Оценивание качества темы.'''
+
== Моделирование сегментированного текста ==
-
* Лексическое ядро темы: множество типичных терминов темы.
+
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
-
* Чистота и контрастность темы
+
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 Видеозапись]
-
* Документное ядро темы: множество типичных документов темы.
+
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Статистические тесты условной независимости.'''
+
'''Позиционный регуляризатор в ARTM.'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
* Гипотеза о сегментной структуре текста.
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
'''Литература:''' [Newman, 2009–2011].
+
'''Тематические модели предложений.'''
 +
* Тематическая модель предложений senLDA.
 +
* Модель коротких сообщений Twitter-LDA.
 +
* Сегментоиды. Лексические цепочки.
-
===Внешние оценки качества тематических моделей===
+
'''Тематическая сегментация текста.'''
 +
* Метод TopicTiling. Критерии определения границ сегментов.
 +
* Критерии качества сегментации.
 +
* Оптимизация параметров модели TopicTiling.
-
'''Оценивание интерпретируемости тем.'''
+
== Мультимодальные тематические модели ==
-
* Экспертное оценивание интерпретируемости.
+
Презентация: [[Media:Voron24ptm-modal.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 05.12.2024}}.
-
* Асессорская разметка терминов и документов, релевантных теме.
+
[https://youtu.be/AfwH0A3NJCQ?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
* Метод интрузий.
+
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
'''Когерентность.'''
+
'''Мультиязычные тематические модели.'''
-
* Определение когерентности.
+
* Параллельные и сравнимые коллекции.
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
* Регуляризаторы для учёта двуязычных словарей.
-
* Способы оценивания совместной встречаемости слов.
+
* Кросс-язычный информационный поиск.
-
'''Суммаризация темы.'''
+
'''Трёхматричные модели.'''
-
* Проблема визуализации тем.
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
-
* Выделение тематичных слов и предложений.
+
* Автор-тематическая модель (author-topic model).
-
* Кластеризация тематичных предложений.
+
* Модель для выделения поведений объектов в видеопотоке.
-
* Ранжирование тематичных предложений.
+
-
* Асессорская разметка предложений, релевантных теме.
+
-
* Задача автоматического именования темы.
+
-
'''Критерии качества классификации и ранжирования.'''
+
'''Тематические модели транзакционных данных.'''
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Задание 1.4.'''
+
== Анализ зависимостей ==
-
# Применить OEM к реальным коллекциям.
+
Презентация: [[Media:Voron24ptm-rel.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 05.12.2024}}.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
[https://youtu.be/uKCMr9yK3gw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
-
'''Литература:'''
+
'''Зависимости, корреляции, связи.'''
 +
* Тематические модели классификации и регрессии.
 +
* Модель коррелированных тем CTM (Correlated Topic Model).
 +
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
===Мультимодальные регуляризованные тематические модели===
+
'''Время и пространство.'''
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
* Регуляризаторы времени.
 +
* Обнаружение и отслеживание тем.
 +
* Гео-пространственные модели.
-
'''Мультимодальная АРТМ.'''
+
'''Социальные сети.'''
-
* Виды модельностей и примеры прикладных задач.
+
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
-
* Вывод формул М-шага.
+
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
* Регуляризаторы для выявления социальных ролей пользователей.
-
* Тематическая модель текста и изображений.
+
-
* Задача аннотирования изображений.
+
-
'''Мультиязычные тематические модели.'''
+
== Именование и суммаризация тем ==
-
* Параллельные и сравнимые коллекции.
+
Презентация: [[Media:Voron23ptm-sum.pdf|(PDF,&nbsp;4,3&nbsp;МБ)]] {{важно|— обновление 04.05.2024}}.
-
* Регуляризаторы для учёта двуязычных словарей.
+
[https://youtu.be/nShxhkPbGWY Видеозапись]
-
'''Модели многоматричных разложений.'''
+
'''Методы суммаризации текстов.'''
-
* Понятие порождающей модальности.
+
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
-
* Вывод формул М-шага.
+
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
-
* Автор-тематическая модель (author-topic model).
+
* Тематическая модель предложений для суммаризации.
-
* Модель для выделения поведений объектов в видеопотоке.
+
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
'''Гиперграфовая модель.'''
+
'''Автоматическое именование тем (topic labeling).'''
-
* Примеры транзакционных данных в социальных и рекламных сетях.
+
* Формирование названий-кандидатов.
-
* Вывод формул М-шага.
+
* Релевантность, покрытие, различность.
 +
* Оценивание качества именования тем.
-
'''Литература:'''
+
'''Задача суммаризации темы'''
 +
* Задача ранжирования документов
 +
* Задача фильтрации репрезентативных релевантных фраз.
 +
* Задача генерации связного текста
-
===Определение числа тем и иерархические модели===
+
== Проект «Тематизатор» ==
 +
Презентация: [[Media:Voron23ptm-project.pdf|(PDF,&nbsp;6,2&nbsp;МБ)]] {{важно|— обновление 21.09.2023}}.
 +
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Регуляризатор энтропийного разреживания.'''
+
'''Визуализация тематических моделей'''
-
* Регуляризатор и формула М-шага. Эффект строкового разреживания.
+
* Концепция distant reading.
-
* Определение истинного числа тем в экспериментах с полумодельными данными.
+
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
-
* Гипотеза о несуществовании истинного числа тем.
+
* Спектр тем.
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
* Визуализация матричного разложения.
-
* Сравнение с моделью иерархических процессов Дирихле.
+
-
'''Тематическая модель с фиксированной иерархией.'''
+
'''Примеры прикладных задач'''
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
* Поиск этно-релевантных тем в социальных сетях.
-
* Необходимость частичного обучения для задачи категоризации.
+
* Анализ программ развития российских вузов.
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
* Поиск и рубрикация научных статей на 100 языках.
-
* Задача построения разреженного иерархического тематического профиля документа.
+
* Проекты Школы Прикладного Анализа Данных.
-
'''Послойное нисходящее построение тематической иерархии.'''
+
'''Анализ требований к «Тематизатору»'''
-
* Регуляризатор матрицы Фи.
+
* Функциональные требования.
-
* Регуляризатор матрицы Тета.
+
* Требования к интерпретируемости.
-
* Измерение и оптимизация качества иерархических моделей.
+
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
-
* Разреживание вероятностного отношения тема—подтема.
+
* Этапизация работ.
-
'''Одновременное построение всех слоёв тематической иерархии.'''
+
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
'''Литература:''' .
+
'''Рекомендуемая структура отчёта об исследовании:'''
 +
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
 +
* Описание простого решения baseline
 +
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
===Тематические модели, учитывающие порядок слов===
+
'''Примеры отчётов:'''
 +
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
 +
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
'''Мультиграммные модели.'''
+
=Литература=
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
-
* Морфологический и синтаксический анализ текста.
+
-
* Отбор фраз с подчинительными связями.
+
-
* Отбор фраз по статистическому критерию коллокации C-Value. Совмещение критериев TF-IDF и CValue.
+
-
* Отбор фраз по оценке тематичности.
+
-
* Задача сокращения словаря (vocabulary reduction) и проблема сравнения моделей с разными словарями.
+
-
'''Регуляризаторы для выделения энграмм.'''
+
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. 2023.
-
* Биграммная тематическая модель.
+
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
-
'''Сегментирующие тематические модели.'''
+
'''Дополнительная литература'''
-
* Позиционный регуляризатор, вывод формул М-шага.
+
-
* Пост-обработка Е-шага.
+
-
* Интерпретация текста как пучка временных рядов и задача разладки.
+
-
* Алгоритм тематической сегментации.
+
-
* Тематические модели предложений (sentence topic model).
+
-
'''Векторная модель word2vec.'''
+
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
-
* Гибрид тематической модели и векторной модели word2vec.
+
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
-
* Связь word2vec с регуляризатором когерентности.
+
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
-
* Эксперименты с гибридной моделью W2V-TM.
+
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 +
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 +
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 +
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 +
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
'''Литература:''' .
+
= Ссылки =
 +
* [[Тематическое моделирование]]
 +
* [[Аддитивная регуляризация тематических моделей]]
 +
* [[Коллекции документов для тематического моделирования]]
 +
* [[BigARTM]]
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
-
===Динамические и пространственные тематические модели===
+
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
-
'''Тематические модели с модальностью времени.'''
+
= Подстраницы =
-
* Регуляризатор разреживания тем в каждый момент времени.
+
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
-
* Регуляризаторы сглаживания темы как временного ряда.
+
-
* Вывод M-шага для негладкого регуляризатора.
+
-
'''Тематические модели с модальностью геолокации.'''
+
[[Категория:Учебные курсы]]
-
* Тематические модели социальных сетей.
+
-
===Траектории регуляризации===
 
-
'''Обучение с подкреплением'''
+
<!---------------------------------------------------
-
* Контекстный многорукий бандит.
+
-
* Инкрементная регрессия.
+
-
* Регрессия с верхними доверительными границами (UCB).
+
-
'''Задача оптимизации трактории в пространстве коэффициентов регуляризации'''
+
'''Модели связного текста.'''
-
* Относительные коэффициенты регуляризации.
+
* Контекстная документная кластеризация (CDC).
-
* Признаковое описание контекста. Метрики качества тематической модели.
+
* Метод лексических цепочек.
-
* Функция премии и скаляризация критериев.
+
-
* Особенности реализации обучения с подкреплением в онлайновом ЕМ-алгоритме.
+
-
===Визуализация тематических моделей===
+
'''Инициализация.'''
 +
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
-
'''Навигация по тематической модели.'''
+
'''Расширяемые тематические модели.'''
-
* Визуализатор TMVE.
+
* Пакетный ЕМ-алгоритм.
-
* Визуализатор Termite.
+
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
-
* Визуализатор для [[BigARTM]].
+
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
-
'''Методы визуализации.'''
+
== Анализ разнородных данных ==
-
* Задача и методы многомерного шкалирования.
+
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
-
* Визуализация «дорожной карты» темы или набора тем.
+
-
* Визуализация тематических иерархий.
+
-
* Визуализация динамических моделей, метафора «реки тем».
+
-
* Визуализация тематической структуры документа.
+
-
* Визуализация модели трёх источников.
+
-
'''Средства разведочного поиска.'''
+
== Примеры приложений тематического моделирования ==
-
* Концепция пользовательского интерфейса для разведочного поиска.
+
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
-
* Концепция иерархической суммаризации.
+
-
===Большие данные===
+
'''Примеры приложений тематического моделирования.'''
 +
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
 +
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
-
'''Параллельные и распределённые алгоритмы.'''
+
== Инициализация, траектория регуляризации, тесты адекватности ==
-
* Обзор подходов к распараллеливанию онлайнового EМ-алгоритма.
+
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
* Распараллеливание онлайнового EМ-алгоритма в [[BigARTM]].
+
-
* Распределённое хранение коллекции.
+
-
'''Обработка больших коллекций в BigARTM.'''
+
'''Траектория регуляризации.'''
-
* Особенности предварительной обработки.
+
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
-
* Коллекция Википедии.
+
* Относительные коэффициенты регуляризации.
-
* Коллекция arXiv.org.
+
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
-
* Коллекция социальной сети VK.
+
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
-
==Литература==
+
'''Тесты адекватности.'''
 +
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
 +
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
-
'''Основная литература'''
+
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
+
* Внутренние и внешние критерии качества.
-
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
+
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
+
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
+
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
+
-
'''Дополнительная литература'''
+
''' Оценивание качества темы.'''
 +
* Лексическое ядро темы: множество типичных терминов темы.
 +
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
-
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
+
'''Устойчивость и полнота.'''
-
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
+
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
+
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
-
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
+
-
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
+
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
+
-
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
+
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
+
-
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
+
-
== Ссылки ==
+
'''Критерии качества классификации и ранжирования.'''
-
* [[Тематическое моделирование]]
+
* Полнота, точность и F-мера в задачах классификации и ранжирования.
-
* [[Аддитивная регуляризация тематических моделей]]
+
* Критерии качества ранжирования: MAP, DCG, NDCG.
-
* [[Коллекции документов для тематического моделирования]]
+
* Оценка качества тематического поиска документов по их длинным фрагментам.
-
* [[BigARTM]]
+
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
+
-
* BigARTM: тематическое моделирование больших текстовых коллекций. [http://www.meetup.com/Moscow-Data-Fest/events/224856462/ Data Fest #1], 12 сентября 2015. '''[[Media:voron-2015-datafest.pdf|(PDF,&nbsp;6.5&nbsp;МБ)]]'''.
+
-
[[Категория:Учебные курсы]]
+
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 +
-->

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 1,4 МБ) — обновление 19.09.2024. Видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Онлайновый ЕМ-алгоритм и аддитивная регуляризация

Презентация: (PDF, 1,3 МБ) — обновление 03.10.2024. Видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Улучшение сходимости несмещёнными оценками.
  • Подбор коэффициентов регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Эксперименты с регуляризацией.

  • Производительность BigARTM
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.

Тематический информационный поиск

Презентация: (PDF, 4,8 МБ) — обновление 10.10.2024. Видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Проект «Мастерская знаний»

  • Поисково-рекомендательная система SciSearch.ru
  • Векторный поиск для формирования тематических подборок
  • Требования к тематическим моделям для научного информационного поиска

Оценивание качества тематических моделей

Презентация: (PDF, 1,6 МБ) — обновление 17.10.2024. Видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

Проблема определения числа тем.

  • Разреживающий регуляризатор для отбора тем.
  • Эксперименты на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов
  • Тематическая несбалансированность как основная причина неинтерпретируемости тем
  • Эксперименты с регуляризаторами отбора тем и декоррелирования
  • Регуляризатор семантической однородности

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Теория ЕМ-алгоритма

Презентация: (PDF, 2,0 МБ) — обновление 25.10.2024. Видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 25.10.2024. Видеозапись

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,7 МБ) — обновление 07.11.2024. Видеозапись

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Моделирование локального контекста

Презентация: (PDF, 1,8 МБ) — обновление 21.11.2024. Видеозапись

Линейная тематизация текста.

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага.
  • Двунаправленная тематическая модель контекста.
  • Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.

Аналогия с моделью само-внимания (self-attention) и трансформером.

  • Модель внимания Query-Key-Value.
  • Трансформер: кодировщик и декодировщик.
  • Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.

Моделирование сегментированного текста

Презентация: (PDF, 2,1 МБ) — обновление 21.11.2024. Видеозапись

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Тематические модели предложений.

  • Тематическая модель предложений senLDA.
  • Модель коротких сообщений Twitter-LDA.
  • Сегментоиды. Лексические цепочки.

Тематическая сегментация текста.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации.
  • Оптимизация параметров модели TopicTiling.

Мультимодальные тематические модели

Презентация: (PDF, 2,7 МБ) — обновление 05.12.2024. Видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Анализ зависимостей

Презентация: (PDF, 2,7 МБ) — обновление 05.12.2024. Видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Именование и суммаризация тем

Презентация: (PDF, 4,3 МБ) — обновление 04.05.2024. Видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Проект «Тематизатор»

Презентация: (PDF, 6,2 МБ) — обновление 21.09.2023. Видеозапись

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. 2023.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»