Вероятностные языковые модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Инициализация, траектории регуляризации, адекватность модели)
(изменено название курса, первая лекция)
 
(307 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — [[аддитивная регуляризация тематических моделей]]. Рассматриваются свойства интерпретируемости, устойчивости и полноты тематических моделей, а также способы их измерения. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.
+
До 2026 года курс назывался «Вероятностные тематические модели».
-
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
+
Вероятностные языковые модели (probabilistic language model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
Наиболее подробно в курсе изучается вероятностное [[тематическое моделирование]] (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] ([[ARTM]]). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
-
== Программа курса 2016 ==
+
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.
-
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
+
-
=== Введение ===
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 27.02.2016}}.
+
-
* Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
+
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. [[Порождающая модель]] документа как вероятностной смеси тем.
+
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
-
* [[Вероятностный латентный семантический анализ]] (PLSA).
+
-
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]], [[Условия Каруша–Куна–Таккера]]. Униграммные модели коллекции и документа.
+
-
* Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
+
-
* ЕМ-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
+
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
-
=== Обзор задач и моделей ===
+
'''Основной материал:'''
-
Презентация: [[Media:Voron-PTM-2.pdf|(PDF, 8,3 МБ)]] {{важно|— обновление 27.02.2016}}.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 29.12.2025}}.
-
* Разновидности тематических моделей.
+
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYFeH50yAki9uSrk7PrjBUoL Плейлист видеозаписей, 2025 осень (МФТИ)].
-
* Средства визуализации тематических моделей.
+
-
* Разведочный информационный поиск и требования к тематическим моделям.
+
-
* Задача поиска релевантных тем в социальных сетях.
+
-
* Применение тематического моделирования для [[Технология информационного анализа электрокардиосигналов|информационного анализа электрокардиосигналов]].
+
-
* Динамическая модель коллекции пресс-релизов.
+
-
* Проект [[BigARTM]].
+
-
* Открытые проблемы и направления исследований.
+
-
=== Латентное размещение Дирихле ===
+
= Программа курса =
-
Презентация: [[Media:Voron-PTM-3.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 04.03.2016}}.
+
-
* Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
+
-
* [[Латентное размещение Дирихле]] (LDA). Некоторые свойства [[Распределение Дирихле|распределения Дирихле]].
+
-
* Теорема о необходимом условии максимума апостериорной вероятности для LDA.
+
-
* Сравнение EM-алгоритма для LDA и PLSA.
+
-
* Алгоритм сэмплирования Гиббса.
+
-
* Модель SWB с фоном и шумом. Робастная тематическая модель.
+
-
* Модель LDA не снижает переобучение, а лишь точнее описывает вероятности редких слов.
+
-
* Способы измерения расстояния между дискретными распределениями. [[Дивергенция Кульбака-Лейблера]].
+
-
* Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
+
-
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
+
-
=== Аддитивная регуляризация тематических моделей ===
+
== Обзор вероятностных моделей языка ==
-
Презентация: [[Media:Voron-PTM-4.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 11.03.2016}}.
+
'''Частотные модели.'''
-
* [[Аддитивная регуляризация тематических моделей]]. Линейные композиции регуляризаторов.
+
* Текстовые данные. Гипотеза «мешка слов». Принцип максимума правдоподобия.
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
+
* Условия Каруша–Куна–Таккера. Частотные оценки вероятности слова в текстовой коллекции, в текстовом документе.
-
* Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.
+
* Токенизация; n-граммы, коллокации, словосочетания, термины. Алгоритм TopMine.
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для мультимодальной ARTM.
+
* Перплексия.
-
* Оффлайновый регуляризованный EM-алгоритм.
+
* Эмпирические законы Ципфа и Хипса.
-
* Онлайновый регуляризованный EM-алгоритм. Разделение коллекции на пакеты документов.
+
* Модели релевантности текста TF-IDF, BM-25, PageRank, TextRank.
-
* Обзор возможностей библиотеки BigARTM. Установка, подготовка данных, создание модели, оценивание модели.
+
-
'''Литература:'''
+
'''Модели семантических векторных представлений.'''
-
* ''Потапенко А. А.'' [[Media:potapenko13online.pdf|Отчет по серии экспериментов с онлайновым алгоритмом]]. 2013.
+
* Вероятностное тематическое моделирование.
 +
* Дистрибутивная семантика. Модель word2vec. Модель FastText.
-
=== Регуляризаторы I ===
+
'''Нейросетевые модели языка.'''
-
Презентация: [[Media:Voron-PTM-5.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Нейрон и нейронные сети.
-
* Регуляризаторы сглаживания и разреживания. Частичное обучение как разновидность сглаживания.
+
* Модель машинного перевода. Модель внимания. Архитектура трансформера. Кодировщик и декодировщик.
-
* Разделение тем на предметные и фоновые. Автоматическое выделение стоп-слов.
+
* Критерии обучения в машинном переводе.
-
* Регуляризатор декоррелирования тем.
+
* Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.
-
* Регуляризатор отбора тем. Эффект отбрасывания малых, дублирующих и линейно зависимых тем. Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
+
-
* Критерии качества тематических моделей: перплексия, когерентность, чистота и контрастность тем. Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.
+
-
* Использование регуляризаторов и измерителей в BigARTM.
+
-
* Комбинирование регуляризаторов для решения практических задач в BigARTM.
+
-
=== Байесовские тематические модели ===
+
== Задача тематического моделирования ==
-
* EM-алгоритм.
+
Презентация: [[Media:Voron25ptm-intro.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 11.09.2025}}.
-
* Вариационный байесовский вывод.
+
[https://youtu.be/Xit8NqCvdyA?t=74 видеозапись]
-
* Семплирование Гиббса.
+
-
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
+
-
=== Регуляризаторы II ===
+
'''Цели и задачи тематического моделирования.'''
-
Презентация: [[Media:Voron-PTM-6.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
-
* Регуляризаторы для регрессии и классификации на текстах.
+
* Вероятностная модель порождения текста.
-
* Регуляризатор CTM (Correlated Topic Model).
+
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
-
* Регуляризатор для учёта гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
+
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
* Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Эксперименты на коллекции пресс-релизов.
+
-
* Вывод M-шага для негладкого регуляризатора.
+
-
* Регуляризаторы геолокации для пространственных тематических моделей.
+
-
* Регуляризаторы для анализа социальных сетей и выделения тематических сообществ.
+
-
=== Мультимодальные тематические модели ===
+
'''Аддитивная регуляризация тематических моделей.'''
-
Презентация: [[Media:Voron-PTM-7.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
* Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]].
-
* Мультиязычные тематические модели. Параллельные и сравнимые коллекции. Регуляризаторы для учёта двуязычных словарей.
+
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
-
* Мультиграммные модели. Биграммы и битермы.
+
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
* Модели трёхматричных разложений. Понятие порождающей модальности.
+
-
* Автор-тематическая модель (author-topic model).
+
-
* Иерархические модели. Оценивание качества тематических иерархий.
+
-
* Тематическая модель текста и изображений. Задача аннотирования изображений.
+
-
* Модель для выделения поведений объектов в видеопотоке.
+
-
* Гиперграфовая модель. Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
+
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.
+
-
=== Лингвистические тематические модели ===
+
'''Практика тематического моделирования.'''
-
Презентация: [[Media:Voron-PTM-8.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Проект с открытым кодом BigARTM.
-
* Мультиграммные модели. Биграммная тематическая модель.
+
* Этапы решения практических задач.
-
* Автоматическое извлечение терминов. Задача редукции словаря (vocabulary reduction). Словарные лингвистические ресурсы.
+
* Методы предварительной обработки текста.
-
* Синтаксическая, статистическая и тематическая фильтрация фраз.
+
* Датасеты и практические задания по курсу.
-
* Морфологический и микро-синтаксический анализ текста для первичной фильтрации фраз.
+
-
* Статистическая фильтрация фраз. Критерий коллокации CValue. Совмещение критериев TF-IDF и CValue.
+
-
* Тематическая фильтрация фраз.
+
-
* Методы оценивания качества фильтрации.
+
-
* Когерентность как мера интерпретируемости униграммных моделей. Регуляризатор когерентности.
+
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
-
* Гибрид тематической модели и векторной модели word2vec.
+
-
* Связь word2vec с регуляризатором когерентности.
+
-
* Эксперименты с гибридной моделью W2V-TM.
+
-
=== Сегментация, аннотирование, суммаризация, именование тем ===
+
== Моделирование локального контекста ==
-
Презентация: [[Media:Voron-PTM-9.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
Презентация: [[Media:Voron25ptm-local.pdf|(PDF, 3,2 МБ)]] {{важно|— обновление 14.09.2025}}.
-
* Позиционный регуляризатор в ARTM, вывод формул М-шага. Пост-обработка Е-шага. Разреживание распределения p(t|d,w).
+
[https://youtu.be/Zl0VMJ_A9J0 видеозапись]
-
* Интерпретация текста как пучка временных рядов. Задача разладки. Алгоритмы K-сегментации.
+
-
* Тематические модели сегментации (segmentation topic model).
+
-
* Тематические модели предложений (sentence topic model).
+
-
* Аннотирование документа. Выделение тематичных слов и фраз (предложений). Оценка ценности фразы.
+
-
* Суммаризация темы. Кластеризация и ранжирование тематичных фраз.
+
-
* Автоматическое именование темы (topic labeling).
+
-
=== Инициализация, траектории регуляризации, адекватность модели ===
+
'''Онлайновый ЕМ-алгоритм.'''
-
Презентация: [[Media:Voron-PTM-10.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
 +
* Онлайновый EM-алгоритм для ARTM.
 +
* Пакетный онлайновый регуляризованный EM-алгоритм для ARTM.
-
'''Инициализация.'''
+
'''Линейная тематизация текста.'''
-
* Случайная инициализация. Инициализация по документам.
+
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
-
* Контекстная документная кластеризация.
+
* Локализация E-шага. Линейная тематизация. Коэффициенты внимания. Attentive ARTM.
-
* Поиск якорных слов. Алгоритм Ароры.
+
* Двунаправленная тематическая модель контекста.
-
'''Траектория регуляризации.'''
+
* Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.
-
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
+
-
* Относительные коэффициенты регуляризации.
+
-
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
+
-
* Подходы к скаляризации критериев.
+
-
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
+
-
'''Тесты адекватности.'''
+
-
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
=== Обзор оценок качества тематических моделей ===
+
'''Аналогия с нейросетевыми моделями языка.'''
-
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Свёрточная нейросеть GCNN (Gated Convolutional Network)
-
* Внутренние и внешние критерии качества.
+
* Модель само-внимания (self-attention) Query-Key-Value.
-
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
+
* Трансформер и онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
-
''' Оценивание качества темы.'''
+
* Нейросетевая тематическая модель Contextual-Top2Vec.
-
* Лексическое ядро темы: множество типичных терминов темы.
+
-
* Чистота и контрастность темы
+
-
* Документное ядро темы: множество типичных документов темы.
+
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Оценивание интерпретируемости тем.'''
+
-
* Экспертное оценивание интерпретируемости. Асессорская разметка терминов и документов, релевантных теме.
+
-
* Метод интрузий.
+
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
'''Устойчивость и полнота.'''
+
-
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
+
-
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
+
-
'''Когерентность.'''
+
-
* Определение когерентности.
+
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
-
* Способы оценивания совместной встречаемости слов.
+
-
'''Критерии качества классификации и ранжирования.'''
+
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
 +
== Реализация ЕМ-алгоритма и комбинирование регуляризаторов ==
 +
Презентация: [[Media:Voron25ptm-regular.pdf|(PDF,&nbsp;1,4&nbsp;МБ)]] {{важно|— обновление 2.10.2025}}.
 +
[https://youtu.be/5DXhffGMjBM видеозапись]
-
== Программа курса 2015 ==
+
'''Часто используемые регуляризаторы.'''
-
* Файл с описанием заданий: [[Media:voron-2014-task-PTM.pdf|voron-2015-task-PTM.pdf]]
+
* Сглаживание и разреживание.
 +
* Частичное обучение.
 +
* Декоррелирование тем.
 +
* Разреживание для отбора тем.
-
=== Задачи анализа текстов и вероятностные модели ===
+
'''Особенности реализации ЕМ-алгоритма для ARTM.'''
 +
* Улучшение сходимости несмещёнными оценками.
 +
* Замена логарифма в функции потерь.
 +
* Матричная запись ЕМ-алгоритма.
 +
* Подбор коэффициентов регуляризации. Траектория регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Библиотеки BigARTM и TopicNet.
-
'''Задачи классификации текстов.'''
+
'''Эксперименты с регуляризацией.'''
-
* Коллекция текстовых документов. Векторное представление документа.
+
* Производительность BigARTM
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
* Оценивание качества: перплексия, когерентность, лексическое ядро
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка.
+
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
-
* Линейный классификатор. Наивный байесовский классификатор.
+
* Комбинирование регуляризаторов, эмпирические рекомендации.
-
* Задача распознавания языка текста.
+
* Эксперименты с отбором тем на синтетических и реальных данных.
-
* Задача распознавание жанра текста. Распознавание научных текстов. Примеры признаков.
+
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
* Задача анализа тональности.
+
-
'''Задачи предварительной обработки текстов.'''
+
== Оценивание качества тематических моделей ==
-
* Очистка: удаление номеров страниц (колонтитулов), переносов, опечаток, оглавлений, таблиц, рисунков, нетекстовой информации.
+
Презентация: [[Media:Voron25ptm-quality.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 2.10.2025}}.
-
* Лемматизация и стемминг. Сравнение готовых инструментальных средств.
+
[https://youtu.be/OoIetK1pTUA видеозапись]
-
* Выделение и удаление стоп-слов и редких слов.
+
-
'''Задачи информационного поиска.'''
+
'''Измерение качества тематических моделей.'''
-
* Задача поиска документов по запросу. Инвертированный индекс.
+
* Правдоподобие и перплексия.
-
* Меры сходства векторов частот. Косинусная мера сходства. Расстояние Хеллингера.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
-
* Дивергенция Кульбака-Леблера и её свойства. Дивергенция Кресси-Рида.
+
* Разреженность и различность.
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
'''Униграммная модель документов и коллекции.'''
+
'''Проверка гипотезы условной независимости.'''
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
* Регуляризатор семантической однородности.
-
* Униграммная модель документов и коллекции.
+
* Применение статистических тестов условной независимости.
-
* ''Ликбез.'' Теорема Куна-Таккера.
+
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
-
'''Литература:''' [Маннинг 2011].
+
'''Проблема тематической несбалансированности в данных'''
 +
* Проблема малых тем и тем-дубликатов
 +
* Тематическая несбалансированность как основная причина неинтерпретируемости тем
 +
* Эксперименты с регуляризаторами отбора тем и декоррелирования
 +
* Регуляризатор семантической однородности
 +
* Подходы к балансировке тем
-
=== Вероятностный латентный семантический анализ ===
+
== Тематический информационный поиск ==
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
Презентация: [[Media:Voron25ptm-exp.pdf|(PDF,&nbsp;9,4&nbsp;МБ)]] {{важно|— обновление 21.10.2025}}.
 +
[https://youtu.be/lckh814p-7I видеозапись]
-
'''Мотивации вероятностного тематического моделирования
+
'''Мультимодальные тематические модели.'''
-
* Идея понижения размерности: переход от вектора (терминов) к вектору тем.
+
* Примеры модальностей.
-
* Цели тематического моделирования: разведочный поиск научной информации, навигация и систематизация, агрегирование новостных потоков, классификация и категоризация текстов, обход проблем синонимии и омонимии.
+
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
'''Задача тематического моделирования.'''
+
'''Иерархические тематические модели.'''
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
* Иерархии тем. Послойное построение иерархии.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
* Регуляризаторы для разделения тем на подтемы.
 +
* Псевдодокументы родительских тем.
 +
* Модальность родительских тем.
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Эксперименты с тематическим поиском.'''
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Методика измерения качества поиска.
-
* Элементарная интерпретация ЕМ-алгоритма: Е-шаг как формула Байеса для апостериорной вероятности темы, М-шаг как частотные оценки условных вероятностей.
+
* Тематическая модель для документного поиска.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
* Оптимизация гиперпараметров.
 +
<!--
 +
'''Задачи тематизации текстовых коллекций'''
 +
* Проект «Мастерская знаний». Тематизация подборок научных публикаций.
 +
* Поиск этно-релевантных тем в социальных сетях
 +
* Тематизация в социо-гуманитарных исследованиях-->
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
== BigARTM и базовые инструменты ==
-
* Проблема больших данных.
+
''Мурат Апишев''.
-
* Эвристика разделения М-шага.
+
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
-
* Эвристика разделения коллекции на пачки документов.
+
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
* Добавление новых документов (folding-in).
+
-
'''Проведение экспериментов на модельных данных.'''
+
'''Предварительная обработка текстов'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Парсинг «сырых» данных.
-
* Распределение Дирихле. Генерация разреженных и сглаженных векторов дискретных распределений из распределения Дирихле.
+
* Токенизация, стемминг и лемматизация.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Выделение энграмм.
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
'''Задание 1.1'''
+
'''Библиотека BigARTM'''
-
Обязательные пункты: 1–3 и любой из последующих.
+
* Методологические рекоммендации по проведению экспериментов.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
* Установка [[BigARTM]].
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
* Формат и импорт входных данных.
-
# Реализовать рациональный ЕМ-алгоритм.
+
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
# Исследовать влияние случайного начального приближения на устойчивость решения. Построить эмпирические распределения и доверительные интервалы для расстояний Хеллингера между истинными матрицами и восстановленными.
+
-
# Исследовать влияние разреженности матриц Фи и Тета на устойчивость решения.
+
-
# Исследовать полноту решения. Сколько запусков со случайным начальным приближением необходимо сделать, чтобы найти все исходные темы? Как различность и разреженность исходных тем влияет на полноту?
+
-
'''Литература:''' [Hofmann 1999].
+
'''Дополнительный материал:'''
 +
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 17.03.2017}}.
 +
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
 +
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
===Латентное размещение Дирихле===
+
== Мультимодальные тематические модели ==
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
Презентация: [[Media:Voron25ptm-modal.pdf|(PDF,&nbsp;1,8&nbsp;МБ)]] {{важно|— обновление 21.10.2025}}.
 +
[https://youtu.be/8cg334LKWdk видеозапись]
-
'''Латентное размещение Дирихле (LDA)'''
+
'''Мультиязычные тематические модели.'''
-
* Свойства [[Распределение Дирихле|распределения Дирихле]].
+
* Параллельные и сравнимые коллекции.
-
* Принцип максимума апостериорной вероятности. Модифицированные формулы М-шага.
+
* Регуляризаторы для учёта двуязычных словарей.
-
* [[Байесовский вывод]]. Свойство сопряжённости мультиномиального распределения и распределения Дирихле. Другие модифицированные формулы М-шага.
+
* Кросс-язычный информационный поиск.
-
* Обзор модификаций формул М-шага.
+
-
* Методы оптимизации гиперпараметров.
+
-
* Небайесовская интерпретация модели LDA.
+
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
'''Трёхматричные модели.'''
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
-
* Эвристика сэмплирования. Алгоритм сэмплирования Гиббса.
+
* Автор-тематическая модель (author-topic model).
 +
* Модель для выделения поведений объектов в видеопотоке.
-
'''Робастные тематические модели.'''
+
'''Тематические модели транзакционных данных.'''
-
* Робастная модель с фоном и шумом.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Упрощённая робастная модель.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
-
* Почему робастный PLSA лучше, чем LDA. Эффект повышения правдоподобия (перплексии) в робастных моделях с шумом.
+
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
 +
* Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Способы формирования начальных приближений.'''
+
== Тематические модели сочетаемости слов ==
-
* Случайная инициализация.
+
Презентация: [[Media:Voron25ptm-cooc.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 8.11.2025}}.
-
* Инициализация по документам.
+
[https://youtu.be/0Yy5kH2LlEQ видеозапись]
-
* Контекстная документная кластеризация.
+
-
* Поиск якорных слов. Алгоритм Ароры.
+
-
'''Задание 1.2'''
+
'''Мультиграммные модели и выделение терминов.'''
-
Обязательные пункты: 1 и любой из последующих.
+
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
-
# Реализовать онлайновый алгоритм OEM.
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
* Критерии тематичности фраз.
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
# Исследовать возможность улучшения качества модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
-
# Исследовать влияние гиперпараметров на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Hoffman 2010], [Asuncion 2009].
+
'''Тематические модели дистрибутивной семантики.'''
 +
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
 +
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
 +
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
<!--* Регуляризаторы когерентности. -->
-
===Аддитивная регуляризация тематических моделей===
+
'''Позиционный регуляризатор в ARTM.'''
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. PLSA. EM-алгоритм.
+
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация матрицы тематических векторов термов. Формулы М-шага.
 +
* Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
'''Многокритериальная регуляризация.'''
+
'''Дополнительный материал:'''
-
* Некорректность постановки задачи тематического моделирования.
+
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
* [[Аддитивная регуляризация тематических моделей]].
+
-
* Вывод формулы M-шага для регуляризованного ЕМ-алгоритма.
+
-
* Проект [[BigARTM]].
+
-
'''Регуляризаторы сглаживания и разреживания.'''
+
== Анализ зависимостей ==
-
* Максимизация и минимизация KL-дивергенции.
+
Презентация: [[Media:Voron25ptm-rel.pdf|(PDF,&nbsp;2,6&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
-
* Альтернативный вариант разреживания через L0-регуляризацию.
+
[https://youtu.be/s8Fp62lWHqk видеозапись]
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
-
'''Регуляризаторы частичного обучения.'''
+
'''Зависимости, корреляции, связи.'''
-
* Частичное обучение как выборочное сглаживание.
+
* Тематические модели классификации и регрессии.
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем.
+
* Модель коррелированных тем CTM (Correlated Topic Model).
-
* Пример: выделение тематики эпидемий, этнических конфликтов.
+
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
'''Ковариационные регуляризаторы.'''
+
'''Время и пространство.'''
-
* Дековариация тем.
+
* Регуляризаторы времени.
-
* Тематические модели цитирования.
+
* Обнаружение и отслеживание тем.
-
* Задача выявления корреляций между темами, модель CTM.
+
* Гео-пространственные модели.
-
* Оценивание параметров (матрицы ковариаций) в модели CTM.
+
-
'''Регуляризаторы для классификации и регрессии.'''
+
'''Социальные сети.'''
-
* Задачи регрессии на текстах. Примеры. Регуляризатор. Формула М-шага.
+
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
-
* Задачи классификации текстов. Примеры. Регуляризатор. Формула М-шага.
+
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
 +
* Регуляризаторы для выявления социальных ролей пользователей.
-
'''Задание 1.3'''
+
== Проект «Тематизатор» ==
-
Обязательные пункты: 1 и любой из остальных.
+
Презентация: [[Media:Voron25ptm-project.pdf|(PDF,&nbsp;8,3&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
[https://youtu.be/0BEIkS3OZZY Видеозапись]
-
# Исследовать зависимость правдоподобия модели и точности восстановления от степени разреженности исходных модельных данных.
+
-
# Исследовать влияние разреживания на правдоподобие модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на правдоподобие модели.
+
-
# Исследовать влияние частичной разметки на правдоподобие модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения правдоподобия и устойчивости модели.
+
-
# Исследовать влияние сглаживания на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Воронцов, 2013, 2015], [Chemudugunta, 2006].
+
'''Примеры прикладных задач'''
 +
* Поиск этно-релевантных тем в социальных сетях.
 +
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Тематическое моделирование в исторических и политологических исследованиях.
 +
* Проекты Школы Прикладного Анализа Данных.
-
===Оценивание качества тематических моделей===
+
'''Визуализация тематических моделей'''
 +
* Визуализация матричного разложения.
 +
* Динамика, иерархии, взаимосвязи, сегментация.
 +
* Спектр тем.
-
'''Реальные данные.'''
+
'''Анализ требований к «Тематизатору»'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Функциональные требования.
-
* Внутренние и внешние критерии качества.
+
* Требования к интерпретируемости.
-
* Дополнительные данные для построения внешних критериев качества.
+
* Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
 +
* Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
 +
* Этапизация работ и MVP Тематизатора.
-
'''Перплексия и правдоподобие.'''
+
== Именование и суммаризация тем ==
-
* Определение и интерпретация перплекcии.
+
Презентация: [[Media:Voron25ptm-sum.pdf|(PDF,&nbsp;4,6&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
[https://youtu.be/d87zESF20K8 видеозапись]
-
* Проблема сравнения моделей с разными словарями.
+
-
* Относительная перплексия.
+
-
''' Оценивание качества темы.'''
+
'''Методы суммаризации текстов.'''
-
* Лексическое ядро темы: множество типичных терминов темы.
+
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
-
* Чистота и контрастность темы
+
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
-
* Документное ядро темы: множество типичных документов темы.
+
* Тематическая модель предложений для суммаризации.
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Статистические тесты условной независимости.'''
+
'''Автоматическое именование тем (topic labeling).'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
* Формирование названий-кандидатов.
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Релевантность, покрытие, различность.
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Оценивание качества именования тем.
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
'''Литература:''' [Newman, 2009–2011].
+
'''Задача суммаризации темы'''
 +
* Задача ранжирования документов
 +
* Задача фильтрации репрезентативных релевантных фраз.
 +
* Задача генерации связного текста
-
===Внешние оценки качества тематических моделей===
+
== Байесовское обучение модели LDA ==
 +
Презентация: [[Media:Voron25ptm-bayes.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 7.12.2025}}.
 +
[https://youtu.be/Je8o6-qgb7Q видеозапись]
-
'''Оценивание интерпретируемости тем.'''
+
'''Классические модели PLSA, LDA.'''
-
* Экспертное оценивание интерпретируемости.
+
* Модель PLSA.
-
* Асессорская разметка терминов и документов, релевантных теме.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Метод интрузий.
+
* Максимизация апостериорной вероятности для модели LDA.
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
'''Когерентность.'''
+
'''Вариационный байесовский вывод.'''
-
* Определение когерентности.
+
* Основная теорема вариационного байесовского вывода.
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
* [[Вариационный байесовский вывод]] для модели LDA.
-
* Способы оценивания совместной встречаемости слов.
+
* VB ЕМ-алгоритм для модели LDA.
-
'''Суммаризация темы.'''
+
'''Сэмплирование Гиббса.'''
-
* Проблема визуализации тем.
+
* Основная теорема о сэмплировании Гиббса.
-
* Выделение тематичных слов и предложений.
+
* [[Сэмплирование Гиббса]] для модели LDA.
-
* Кластеризация тематичных предложений.
+
* GS ЕМ-алгоритм для модели LDA.
-
* Ранжирование тематичных предложений.
+
-
* Асессорская разметка предложений, релевантных теме.
+
-
* Задача автоматического именования темы.
+
-
'''Критерии качества классификации и ранжирования.'''
+
'''Замечания о байесовском подходе.'''
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
* Оптимизация гиперпараметров в LDA.
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
* Сравнение байесовского подхода и ARTM.
 +
* Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.
-
'''Задание 1.4.'''
+
== Проект «Мастерская знаний» ==
-
# Применить OEM к реальным коллекциям.
+
Презентация: [[Media:Voron25ptm-kf.png|(PNG,&nbsp;8,1&nbsp;МБ)]] {{важно|— обновление 3.03.2025}}.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
-
'''Литература:'''
+
'''Проект «Мастерская знаний»'''
 +
* Цели, задачи, концепция проекта. Тематические подборки научных текстов.
 +
* Модель векторизации текста для поиска и рекомендаций научных статей.
 +
* Основные сервисы «Мастерской знаний».
-
===Мультимодальные регуляризованные тематические модели===
+
'''Место тематического моделирования в «Мастерской знаний»'''
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
* Сервис тематизации подборки.
 +
* Сервисы выявления научных трендов и построения хронологических карт.
 +
* Вспомогательные функции в сервисе полуавтоматической суммаризации.
-
'''Мультимодальная АРТМ.'''
+
'''Карты знаний'''
-
* Виды модальностей и примеры прикладных задач.
+
* Задачи иерархической суммаризации одной статьи, подборки статей.
-
* Вывод формул М-шага.
+
* Принципы построения интеллект-карт и карт знаний.
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
* Что такое «тема»? Отличия тематизации и картирования.
-
* Тематическая модель текста и изображений.
+
-
* Задача аннотирования изображений.
+
-
'''Мультиязычные тематические модели.'''
+
<!---
-
* Параллельные и сравнимые коллекции.
+
== Теория ЕМ-алгоритма ==
-
* Регуляризаторы для учёта двуязычных словарей.
+
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
 +
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
'''Модели многоматричных разложений.'''
+
'''Общий EM-алгоритм.'''
-
* Понятие порождающей модальности.
+
* EM-алгоритм для максимизации неполного правдоподобия.
-
* Вывод формул М-шага.
+
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
-
* Автор-тематическая модель (author-topic model).
+
* Альтернативный вывод формул ARTM.
-
* Модель для выделения поведений объектов в видеопотоке.
+
-
'''Гиперграфовая модель.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Примеры транзакционных данных в социальных и рекламных сетях.
+
* Проблема неустойчивости (на синтетических данных).
-
* Вывод формул М-шага.
+
* Проблема неустойчивости (на реальных данных).
 +
* Проблема переобучения и робастные модели.
-
'''Литература:'''
+
== Моделирование сегментированного текста ==
 +
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
 +
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 старая видеозапись]
-
===Определение числа тем и иерархические модели===
+
'''Мультиграммные модели.'''
 +
* Модель BigramTM.
 +
* Модель Topical N-grams (TNG).
 +
* Мультимодальная мультиграммная модель.
-
'''Регуляризатор энтропийного разреживания.'''
+
'''Тематические модели предложений.'''
-
* Регуляризатор и формула М-шага. Эффект строкового разреживания.
+
* Тематическая модель предложений senLDA.
-
* Определение истинного числа тем в экспериментах с полумодельными данными.
+
* Модель коротких сообщений Twitter-LDA.
-
* Гипотеза о несуществовании истинного числа тем.
+
* Сегментоиды. Лексические цепочки.
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
-
* Сравнение с моделью иерархических процессов Дирихле.
+
-
'''Тематическая модель с фиксированной иерархией.'''
+
'''Тематическая сегментация текста.'''
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
* Метод TopicTiling. Критерии определения границ сегментов.
-
* Необходимость частичного обучения для задачи категоризации.
+
* Критерии качества сегментации.
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
* Оптимизация параметров модели TopicTiling.
-
* Задача построения разреженного иерархического тематического профиля документа.
+
--->
-
'''Послойное нисходящее построение тематической иерархии.'''
+
=Отчетность по курсу=
-
* Регуляризатор матрицы Фи.
+
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
* Регуляризатор матрицы Тета.
+
-
* Измерение и оптимизация качества иерархических моделей.
+
-
* Разреживание вероятностного отношения тема—подтема.
+
-
'''Одновременное построение всех слоёв тематической иерархии.'''
+
'''Рекомендуемая структура отчёта об исследовании:'''
 +
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
 +
* Описание простого решения baseline
 +
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
'''Литература:''' .
+
'''Примеры отчётов:'''
 +
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
 +
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
===Тематические модели, учитывающие порядок слов===
+
=Литература=
-
'''Мультиграммные модели.'''
+
# ''Воронцов К. В.'' [https://urss.ru/cgi-bin/db.pl?page=Book&id=305674 Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM]. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
# ''Xiaobao Wu, Thong Nguyen, Anh Tuan Luu.'' [https://arxiv.org/abs/2401.15351 A Survey on Neural Topic Models: Methods, Applications, and Challenges]. 2023.
-
* Морфологический и синтаксический анализ текста.
+
# ''Rob Churchill, Lisa Singh.'' [https://dl.acm.org/doi/10.1145/3507900 The Evolution of Topic Modeling]. 2022.
-
* Отбор фраз с подчинительными связями.
+
# ''He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine.'' [https://arxiv.org/abs/2103.00498 Topic Modelling Meets Deep Neural Networks: A Survey]. 2021.
-
* Отбор фраз по статистическому критерию коллокации C-Value. Совмещение критериев TF-IDF и CValue.
+
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
-
* Отбор фраз по оценке тематичности.
+
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
-
* Задача сокращения словаря (vocabulary reduction) и проблема сравнения моделей с разными словарями.
+
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
-
'''Регуляризаторы для выделения энграмм.'''
+
'''Дополнительная литература'''
-
* Биграммная тематическая модель.
+
-
'''Сегментирующие тематические модели.'''
+
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
-
* Позиционный регуляризатор, вывод формул М-шага.
+
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
-
* Пост-обработка Е-шага.
+
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
-
* Интерпретация текста как пучка временных рядов и задача разладки.
+
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
-
* Алгоритм тематической сегментации.
+
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
-
* Тематические модели предложений (sentence topic model).
+
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 +
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 +
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 +
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
'''Векторная модель word2vec.'''
+
= Ссылки =
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
* [[Тематическое моделирование]]
-
* Гибрид тематической модели и векторной модели word2vec.
+
* [[Аддитивная регуляризация тематических моделей]]
-
* Связь word2vec с регуляризатором когерентности.
+
* [[Коллекции документов для тематического моделирования]]
-
* Эксперименты с гибридной моделью W2V-TM.
+
* [[BigARTM]]
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
-
'''Литература:''' .
+
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
-
===Динамические и пространственные тематические модели===
+
= Подстраницы =
 +
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
-
'''Тематические модели с модальностью времени.'''
+
[[Категория:Учебные курсы]]
-
* Регуляризатор разреживания тем в каждый момент времени.
+
-
* Регуляризаторы сглаживания темы как временного ряда.
+
-
* Вывод M-шага для негладкого регуляризатора.
+
-
'''Тематические модели с модальностью геолокации.'''
 
-
* Тематические модели социальных сетей.
 
-
===Траектории регуляризации===
+
<!---------------------------------------------------
-
'''Обучение с подкреплением'''
+
'''Модели связного текста.'''
-
* Контекстный многорукий бандит.
+
* Контекстная документная кластеризация (CDC).
-
* Инкрементная регрессия.
+
* Метод лексических цепочек.
-
* Регрессия с верхними доверительными границами (UCB).
+
-
'''Задача оптимизации трактории в пространстве коэффициентов регуляризации'''
+
'''Инициализация.'''
-
* Относительные коэффициенты регуляризации.
+
* Случайная инициализация. Инициализация по документам.
-
* Признаковое описание контекста. Метрики качества тематической модели.
+
* Контекстная документная кластеризация.
-
* Функция премии и скаляризация критериев.
+
* Поиск якорных слов. Алгоритм Ароры.
-
* Особенности реализации обучения с подкреплением в онлайновом ЕМ-алгоритме.
+
-
===Визуализация тематических моделей===
+
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
-
'''Навигация по тематической модели.'''
+
== Анализ разнородных данных ==
-
* Визуализатор TMVE.
+
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
-
* Визуализатор Termite.
+
-
* Визуализатор для [[BigARTM]].
+
-
'''Методы визуализации.'''
+
== Примеры приложений тематического моделирования ==
-
* Задача и методы многомерного шкалирования.
+
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
-
* Визуализация «дорожной карты» темы или набора тем.
+
-
* Визуализация тематических иерархий.
+
-
* Визуализация динамических моделей, метафора «реки тем».
+
-
* Визуализация тематической структуры документа.
+
-
* Визуализация модели трёх источников.
+
-
'''Средства разведочного поиска.'''
+
'''Примеры приложений тематического моделирования.'''
-
* Концепция пользовательского интерфейса для разведочного поиска.
+
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
-
* Концепция иерархической суммаризации.
+
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
-
===Большие данные===
+
== Инициализация, траектория регуляризации, тесты адекватности ==
 +
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
'''Параллельные и распределённые алгоритмы.'''
+
'''Траектория регуляризации.'''
-
* Обзор подходов к распараллеливанию онлайнового EМ-алгоритма.
+
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
-
* Распараллеливание онлайнового EМ-алгоритма в [[BigARTM]].
+
* Относительные коэффициенты регуляризации.
-
* Распределённое хранение коллекции.
+
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
 +
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
-
'''Обработка больших коллекций в BigARTM.'''
+
'''Тесты адекватности.'''
-
* Особенности предварительной обработки.
+
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
-
* Коллекция Википедии.
+
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
-
* Коллекция arXiv.org.
+
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
-
* Коллекция социальной сети VK.
+
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
-
==Литература==
+
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
'''Основная литература'''
+
* Внутренние и внешние критерии качества.
 +
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
-
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
+
''' Оценивание качества темы.'''
-
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
+
* Лексическое ядро темы: множество типичных терминов темы.
-
# ''Vorontsov K. V., Potapenko A. A.'' [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
+
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
-
'''Дополнительная литература'''
+
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
-
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
+
'''Критерии качества классификации и ранжирования.'''
-
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
+
* Полнота, точность и F-мера в задачах классификации и ранжирования.
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
+
* Критерии качества ранжирования: MAP, DCG, NDCG.
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
+
* Оценка качества тематического поиска документов по их длинным фрагментам.
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
+
-
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
+
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
+
-
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
+
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
+
-
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
+
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
+
-
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
+
-
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
+
-
== Ссылки ==
+
* Вывод M-шага для негладкого регуляризатора.
-
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
+
* Тематическая модель текста и изображений. Задача аннотирования изображений.
-
* [[Тематическое моделирование]]
+
-->
-
* [[Аддитивная регуляризация тематических моделей]]
+
-
* [[Коллекции документов для тематического моделирования]]
+
-
* [[BigARTM]]
+
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
+
-
* BigARTM: тематическое моделирование больших текстовых коллекций. [http://www.meetup.com/Moscow-Data-Fest/events/224856462/ Data Fest #1], 12 сентября 2015. '''[[Media:voron-2015-datafest.pdf|(PDF,&nbsp;6.5&nbsp;МБ)]]'''.
+
-
 
+
-
[[Категория:Учебные курсы]]
+

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

До 2026 года курс назывался «Вероятностные тематические модели».

Вероятностные языковые модели (probabilistic language model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).

Наиболее подробно в курсе изучается вероятностное тематическое моделирование (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (ARTM). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Обзор вероятностных моделей языка

Частотные модели.

  • Текстовые данные. Гипотеза «мешка слов». Принцип максимума правдоподобия.
  • Условия Каруша–Куна–Таккера. Частотные оценки вероятности слова в текстовой коллекции, в текстовом документе.
  • Токенизация; n-граммы, коллокации, словосочетания, термины. Алгоритм TopMine.
  • Перплексия.
  • Эмпирические законы Ципфа и Хипса.
  • Модели релевантности текста TF-IDF, BM-25, PageRank, TextRank.

Модели семантических векторных представлений.

  • Вероятностное тематическое моделирование.
  • Дистрибутивная семантика. Модель word2vec. Модель FastText.

Нейросетевые модели языка.

  • Нейрон и нейронные сети.
  • Модель машинного перевода. Модель внимания. Архитектура трансформера. Кодировщик и декодировщик.
  • Критерии обучения в машинном переводе.
  • Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.

Задача тематического моделирования

Презентация: (PDF, 1,7 МБ) — обновление 11.09.2025. видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Моделирование локального контекста

Презентация: (PDF, 3,2 МБ) — обновление 14.09.2025. видеозапись

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Онлайновый EM-алгоритм для ARTM.
  • Пакетный онлайновый регуляризованный EM-алгоритм для ARTM.

Линейная тематизация текста.

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага. Линейная тематизация. Коэффициенты внимания. Attentive ARTM.
  • Двунаправленная тематическая модель контекста.
  • Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.

Аналогия с нейросетевыми моделями языка.

  • Свёрточная нейросеть GCNN (Gated Convolutional Network)
  • Модель само-внимания (self-attention) Query-Key-Value.
  • Трансформер и онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
  • Нейросетевая тематическая модель Contextual-Top2Vec.

Реализация ЕМ-алгоритма и комбинирование регуляризаторов

Презентация: (PDF, 1,4 МБ) — обновление 2.10.2025. видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.

Особенности реализации ЕМ-алгоритма для ARTM.

  • Улучшение сходимости несмещёнными оценками.
  • Замена логарифма в функции потерь.
  • Матричная запись ЕМ-алгоритма.
  • Подбор коэффициентов регуляризации. Траектория регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Эксперименты с регуляризацией.

  • Производительность BigARTM
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.
  • Эксперименты с отбором тем на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Оценивание качества тематических моделей

Презентация: (PDF, 1,7 МБ) — обновление 2.10.2025. видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов
  • Тематическая несбалансированность как основная причина неинтерпретируемости тем
  • Эксперименты с регуляризаторами отбора тем и декоррелирования
  • Регуляризатор семантической однородности
  • Подходы к балансировке тем

Тематический информационный поиск

Презентация: (PDF, 9,4 МБ) — обновление 21.10.2025. видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Мультимодальные тематические модели

Презентация: (PDF, 1,8 МБ) — обновление 21.10.2025. видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,5 МБ) — обновление 8.11.2025. видеозапись

Мультиграммные модели и выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация матрицы тематических векторов термов. Формулы М-шага.
  • Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 2,6 МБ) — обновление 27.11.2025. видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Проект «Тематизатор»

Презентация: (PDF, 8,3 МБ) — обновление 27.11.2025. Видеозапись

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Тематическое моделирование в исторических и политологических исследованиях.
  • Проекты Школы Прикладного Анализа Данных.

Визуализация тематических моделей

  • Визуализация матричного разложения.
  • Динамика, иерархии, взаимосвязи, сегментация.
  • Спектр тем.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
  • Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
  • Этапизация работ и MVP Тематизатора.

Именование и суммаризация тем

Презентация: (PDF, 4,6 МБ) — обновление 27.11.2025. видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 7.12.2025. видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.

Проект «Мастерская знаний»

Презентация: (PNG, 8,1 МБ) — обновление 3.03.2025.

Проект «Мастерская знаний»

  • Цели, задачи, концепция проекта. Тематические подборки научных текстов.
  • Модель векторизации текста для поиска и рекомендаций научных статей.
  • Основные сервисы «Мастерской знаний».

Место тематического моделирования в «Мастерской знаний»

  • Сервис тематизации подборки.
  • Сервисы выявления научных трендов и построения хронологических карт.
  • Вспомогательные функции в сервисе полуавтоматической суммаризации.

Карты знаний

  • Задачи иерархической суммаризации одной статьи, подборки статей.
  • Принципы построения интеллект-карт и карт знаний.
  • Что такое «тема»? Отличия тематизации и картирования.


Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
  2. Xiaobao Wu, Thong Nguyen, Anh Tuan Luu. A Survey on Neural Topic Models: Methods, Applications, and Challenges. 2023.
  3. Rob Churchill, Lisa Singh. The Evolution of Topic Modeling. 2022.
  4. He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine. Topic Modelling Meets Deep Neural Networks: A Survey. 2021.
  5. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  6. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  7. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  8. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2024
Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»
Личные инструменты