Глубокое машинное обучение (онлайн-учебник)
Материал из MachineLearning.
Китов В.В. Глубокое машинное обучение, 2025, онлайн-учебник.
Аннотация
Онлайн-учебник по машинному обучению и глубокому обучению (нейросетям) на основе курсов "Методы машинного обучения" и "Глубокое машинное обучение", читаемых на факультете ВМК МГУ им. Ломоносова и в магистратуре Т-Банка/МФТИ.
Материалы учебника свободно доступны в виде веб-страниц, организованных в виде интуитивной вложенной иерархической структуры, а связанные друг с другом понятия связаны гиперссылками для удобства навигации и изучения смежных тем. В конце разделов добавлены проверочные вопросы, а также главы со ссылками на дополнительную литературу для более полного погружения в каждую тему.
Первая часть учебника описывает весь процесс построения моделей машинного обучения (machine learning) для решения задач регрессии и классификации:
- постановка и формализация задачи,
- подготовка данных,
- выбор модели и подбор гиперпараметров,
- оценка качества моделей,
- интерпретация результатов.
В ней рассматриваются классические методы машинного обучения:
- метрические методы,
- линейные модели и их расширение с помощью ядер,
- деревья решений.
Особое внимание уделяется построению прогнозов, используя не одну модель, а композицию разных моделей (ансамбль). Рассматриваются популярные методы построения ансамблей моделей, такие как
- бэггинг
- метод случайных подпространств
- случайный лес
- особо случайные деревья
- бустинг.
В двух отдельных разделах онлайн-учебника рассматриваются подходы к интерпретации работы моделей машинного обучения.
Вторая часть учебника посвящена глубокому обучению (deep learning), то есть использованию нейросетей в задачах эффективного представления знаний (representation learning) и прогнозирования.
Рассматривается нейросетевая обработка табличных данных, изображений, последовательностей, временных рядов, текстов и графов.
Описываются основные нейросетевые архитектуры:
- многослойный персептрон,
- автокодировщики,
- RBF-сети,
- сиамские сети,
- свёрточные нейросети для обработки последовательностей и изображений,
- рекуррентные сети,
- трансформеры,
- графовые нейросети.
Изучаются методы эффективной настройки глубоких нейросетевых моделей, включающие начальную инициализацию моделей и методы оптимизации нейросетей.
Особое внимание уделено способам регуляризации нейросетевых моделей, чтобы контролировать степень переобучения.
Помимо задач регрессии и классификации, рассматриваются и другие применения глубоких нейросетей:
- сжатие объектов (снижение размерности);
- семантическая сегментация, детекция объектов и instance-сегментация объектов на изображениях;
- построение эмбеддингов для слов и параграфов текста, а также для произвольных объектов;
- генерация текстов и последовательностей других дискретных объектов
- классификация вершин и рёбер графа, восстанавление недостающих рёбер на графе.
Учебник начал использоваться в курсах по машинному и глубокому обучению на факультете ВМК МГУ и в магистратуре Т-Банка/МФТИ с сентября 2024 года.
В августе 2025 основные темы учебника были финализированы.
В будущем планируется добавление новых тем.
