Математические основы теории прогнозирования (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(+ вопросы к экзамену)
Текущая версия (16:15, 11 сентября 2014) (править) (отменить)
м
 
(124 промежуточные версии не показаны)
Строка 1: Строка 1:
-
{{tip|Студентам на заметку: на вкладке «Обсуждение» к этой странице можно задать вопрос по курсу, высказать свои пожелания, предложения, а также вести обсуждение между собой. — [[Участник:Kropotov|Д.А. Кропотов]] 18:56, 11 февраля 2011 (MSK)}}
 
-
 
-
{{notice|Внимание! Опубликованы вопросы к экзамену.}}
 
-
 
__NOTOC__
__NOTOC__
-
[[Изображение:MOTP_intro_fig1.jpg|200px|left]]
+
{| border="0"
 +
|[[Изображение:MOTP_intro_fig1.jpg|200px]]  
 +
| valign="top"|Курс посвящен изучению современных методов диагностики и прогнозирования, основанных на [[Машинное обучение|машинном обучении]], а также современных методов [[Интеллектуальный анализ данных|интеллектуального анализа данных]]. Даётся обзор современных методов распознавания, включая статистические, нейросетевые, комбинаторно-логические, алгебраические модели, [[Машина опорных векторов|модель опорных векторов]]. Рассматривается основная проблематика методов машинного обучения, включая эффект [[Переобучение|переобучения]]. Изучаются вопросы оценки точности классифицирующих правил или прогностических функций. Рассматривается метод ROC анализа. Изучаются методы интеллектуального анализа данных, включая методы [[Кластеризация|кластерного анализа]], многомерного шкалирования, а также [[Метод главных компонент|метод главных компонент]]. Рассматриваются математические модели анализа надёжности.
 +
|}
-
Курс посвящен основным математическим методам решения задач [[Машинное обучение|машинного обучения]] (распознавания, классификации, прогнозирования, анализа данных). Эти методы широко используются при решении задач из разных прикладных областей (экономика, финансы, медицина, бизнес, геология, химия и др.), например, прогноз результатов лечения, предсказание свойств химических соединений, распознавание речи, анализ поведения, диагностика состояния оборудования, прогноз урожайности и т.д. Задачей курса также является ознакомление с основными математическими теориями, которые используются при построении алгоритмов распознавания, такими как алгебра, математическая статистика, методы оптимизации, дискретная математика и др.
+
Лектор: [[Участник:Сенько Олег|Сенько Олег Валентинович]]
-
== Контрольная работа ==
+
Ассистент: [[Участник:Kropotov|Кропотов Д.А.]]
-
Для получения допуска к экзамену необходимо успешно написать контрольную работу. Оценка за контрольную работу будет учитываться на экзамене.
+
Свои вопросы по курсу и пожелания можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу ''bayesml@gmail.com'', в название письма просьба добавлять [МОТП14].
-
[[Media:MOTP11_test_sum.pdf|Примерный вариант задания на контрольной (PDF)]]
+
В весеннем семестре 2014 года курс читается на ВМК по средам в ауд. П-8а, начало в 10:30.
-
[[Media:MOTP11_comments.pdf|Комментарии по результатам первой контрольной работы (PDF)]]
+
== Контрольная работа ==
 +
В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу. При отсутствии допуска студент пишет контрольную работу на экзамене и в случае успеха сдает экзамен на первой пересдаче.
-
=== Список студентов, допущенных к экзамену по результатам двух попыток написаний контрольной работы ===
+
При написании контрольной работы разрешается пользоваться любыми бумажными материалами, а также калькуляторами. Использование электронных устройств (кроме калькуляторов) запрещено.
-
В фамилиях и номерах групп возможны неточности, т.к. почерк не всегда легко разобрать.
+
-
{| class="standard"
+
[[Media:MOTP13_test_var.pdf|Пример варианта из контрольной 2013 года (pdf)]]
-
!Группа 420|| Группа 421 || Группа 422 || Группа 424 || Группа 425 || Группа 427 || Группа 428 || СФ
+
-
|-
+
-
|Степанец А.|| Чернышов Ю. || Плакунов А. || Крутов В. || Капитанова В. || Касимова А. || Гисков Г. || Сребняк
+
-
|-
+
-
|Исламгулов И.|| Гончаров А. || Беликов || Кривобородов Е. || Джумаев С. || Борзилов || Спихальский Д.
+
-
|-
+
-
|Бикинеев А. || Жданов В. || Носеевич Г. || Куликов В. || Лисицкий В. || Бакулин М. || Черникова Т.
+
-
|-
+
-
|Бакмеев А. || Еремина О. || Вдовин П. || Творогов || Бурцев М. || Кадысев М. || Мандрыкин М.
+
-
|-
+
-
|Федорова А. || Ермишин || Касьяненко || Ульянов А. || Родионов А. || Варманов С. || Карпулевич Е.
+
-
|-
+
-
|Станченко || Зипа || Зотов И. || Иванкова || Джигайло П. || Фомичев Н. || Рязанцев Д.
+
-
|-
+
-
|Лихогруд || Лебедев || Субботин Н. || Кудасов || Боловинцева || Зуев А. || Куприн И.
+
-
|-
+
-
|Веселый || Пестун М. || Зайцев || Родимова П. || Рощупкин А. || Майков А. || Щербамкин Е.
+
-
|-
+
-
|Бурдаков Д. || Афанасьев В.|| Гребенкина || Медведев А. || Мытрова М. || Лагута А. || Рябов С.
+
-
|-
+
-
|Новиков К. || Русланова А. || Лопухина || Клычков Д. || Жаров С. || Бочкарев П. || Пироженко А.
+
-
|-
+
-
|Смоляров И. || Сахаров А. || Мартьянов || Кондратова || Власенко А. || Коваленко А. || Крылов В.
+
-
|-
+
-
|Никеров А. || Клименко || Щербинина А. || Струнов || Волков || Платонов В. || Сергеев Н.
+
-
|-
+
-
|Васильев А. || || Раздобаров || || || Перту Л. || Баранов Л.
+
-
|-
+
-
|Воробьев Д. || || Снегирев Л. || || || Кошелев В. || Суханова
+
-
|-
+
-
|Сильвестров А. || || || || || Ермаков || Камаев
+
-
|-
+
-
|Киселев || || || || || Щербина || Сиващенко
+
-
|-
+
-
| || || || || || Меркулов Д. || Утехин
+
-
|-
+
-
| || || || || || Аноховский С. || Стариков
+
-
|-
+
-
| || || || || || Пантелеев И. || Бартунов С.
+
-
|-
+
-
| || || || || || Терещенко В. || Буздалов
+
-
|-
+
-
| || || || || || Рязанов В. ||
+
-
|-
+
-
| || || || || || Павлович ||
+
-
|-
+
-
|}
+
-
Следующие студенты не допущены к экзамену:
+
[[Media:MOTP12_test_var.pdf|Тестовый вариант 2012 года (pdf)]]
-
{| class="standard"
+
-
|Мяков, 421
+
-
|-
+
-
|Корольков С., 422
+
-
|-
+
-
|Селезнев В., 428
+
-
|-
+
-
|Маргасюк А., 421
+
-
|-
+
-
|Толалуев, 428
+
-
|-
+
-
|Нетребко Станислав, 424
+
-
|-
+
-
|Тупицин Николай, 425
+
-
|-
+
-
|Швец Павел, 420
+
-
|-
+
-
|}
+
-
Эти студенты должны будут написать контрольную работу на экзамене (вне зависимости от допуска к экзаменационной сессии). Непосредственно сам экзамен для этих студентов начнется на первой пересдаче.
+
[https://docs.google.com/spreadsheets/d/1E1J75NvYxFWzoNnLI6C2yWpPeMfEUMZbCNIuKKTzWtw/edit?usp=sharing Результаты контрольной]
-
 
+
-
Все студенты, которых нет в двух списках выше, должны связаться с [[Участник:Dmitry Vetrov|Д.П. Ветровым]].
+
== Экзамен ==
== Экзамен ==
-
К экзамену допускаются только те студенты, которые успешно справились с контрольной работой. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При ответе ничем пользоваться нельзя.
+
К сдаче экзамена допускаются только студенты, успешно справившиеся с контрольной работой. На экзамене при подготовке билета разрешается пользоваться любыми материалами (в том числе с электронных устройств). При ответе ничем пользоваться нельзя. Обратите внимание на вопросы теоретического минимума — незнание ответов на эти вопросы влечёт неудовлетворительную оценку за экзамен.
-
[[Media:MOTP11_exam_questions.pdf|Вопросы к экзамену (PDF, 145Кб)]]
+
[[Media:MOTP14_exam.pdf|Теоретический минимум + вопросы]]
 +
 
 +
== Материалы ==
 +
{|class = "standard"
 +
! Номер лекции !! Название
 +
|-
 +
| align="center"|1 || [[Media:MOTP14_1.pdf|Задачи прогнозирования, обобщающая способность, скользящий контроль]]
 +
|-
 +
| align="center"|2 || [[Media:MOTP14_2.pdf|Линейная машина, теория Вапника-Червоненкиса]]
 +
|-
 +
| align="center"|3 || [[Media:MOTP14_3.pdf|Линейная регрессия]] {{важно|(обновлено 11.06.)}}
 +
|-
 +
| align="center"|4 || [[Media:MOTP14_4.pdf|Байесовский классификатор, линейный дискриминант Фишера, логистическая регрессия, К-ближайших соседей, ROC-кривые]]
 +
|-
 +
| align="center"|5 || [[Media:MOTP14_5.pdf|Тестовый алгоритм, алгоритм вычисления оценок]]
 +
|-
 +
| align="center"|6 || [[Media:MOTP14_6.pdf|Нейросетевые методы]]
 +
|-
 +
| align="center"|7 || [[Media:MOTP14_7.pdf|Ядерные методы, метод опорных векторов]] {{важно|(обновлено 11.06.)}}
 +
|-
 +
| align="center"|8 || [[Media:MOTP14_8.pdf|Решающие деревья]]
 +
|-
 +
| align="center"|9 || [[Media:MOTP14_9.pdf|Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция]]
 +
|-
 +
| align="center"|10 || [[Media:MOTP14_10.pdf|Коллективные методы, бэггинг, бустинг, голосование по системам закономерностей]]
 +
|-
 +
| align="center"|11 || [[Media:MOTP14_11.pdf|Методы кластерного анализа, метод главных компонент]]
 +
|-
 +
| align="center"|12 || [[Media:MOTP14_12.pdf|Байесовские сети, анализ выживаемости]]
 +
|-
 +
|}
== Программа курса ==
== Программа курса ==
-
=== ЧАСТЬ 1 (лектор [[Участник:Dmitry Vetrov|Д.П. Ветров]]) ===
+
# Область применения методов, основанных на [[Обучение по прецедентам|обучении по прецедентам]]. Способ обучения, основанный на [[Минимизация эмпирического риска|минимизации эмпирического риска]].
 +
# Понятие [[Обобщающая способность|обобщающей способности]]. Способы оценки обобщающей способности. Смысл эффекта переобучения.
 +
# Теоретические подходы к исследованию обобщающей способности. [[Байесовский классификатор|Байесовский классификатор]]. Лемма Неймана-Пирсона. Основные положения [[Теория Вапника-Червоненкиса|теории Вапника-Червоненкиса]].
 +
# Простая и многомерная [[Многомерная линейная регрессия|линейная регрессия]].
 +
# Структура алгоритма распознавания. Оценка эффективности распознающих операторов. ROC-анализ.
 +
# Статистические методы распознавания.
 +
# Комбинаторно-логические методы. [[Алгоритмы вычисления оценок|Алгоритмы вычисления оценок]].
 +
# Нейросетевые методы.
 +
# [[Машина опорных векторов|Метод опорных векторов]].
 +
# [[Решающее дерево|Решающие деревья]].
 +
# Коллективные методы распознавания. Простые комитетные методы. [[Наивный байесовский классификатор|Наивный байесовский классификатор]]. Логическая коррекция. Основы алгебраической коррекции. Операции над распознающими операторами. Линейное и алгебраическое замыкания множеств распознающих операторов.
 +
# Методы, основанные на коллективных решениях по наборам логических закономерностей, а также по областям признакового пространства, выделенных с помощью оптимальных разбиений.
 +
# Методы [[Кластеризация|кластерного анализа]]. Методы проектирования многомерных векторов описаний объектов обучающей выборки на плоскость. [[Метод главных компонент|Метод главных компонент]].
 +
# Методы [[Анализ выживаемости|анализа выживаемости]] (надёжности). Кривые выживаемости. [[Процедура Каплана-Мейера|Оценки Каплан-Майера]]. Модель Кокса.
 +
# Методы прогнозирования [[Временной ряд|временных рядов]].
 +
<!--
==== Различные постановки задач [[Машинное обучение|машинного обучения]] ====
==== Различные постановки задач [[Машинное обучение|машинного обучения]] ====
-
Обзор задач анализа данных: [[Классификация|классификация]], [[Регрессионный анализ|регрессия]], [[Кластеризация|кластеризация]], идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: [[Переобучение|переобучение]], противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки.
+
Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая [[Выборка|выборка]]. [[Обобщающая способность]]. Области использования методов машинного обучения.
-
''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
+
==== [[Байесовский классификатор|Байесовские классификаторы]] ====
 +
Верхние пределы точности. Оптимальные прогностические решения и классифицирующие правила. Байесовские классификаторы.
-
[[Media:MOTP11_1.pdf‎|Презентация (PDF, 229 КБ)]]
+
==== Методы оценки обобщающей способности алгоритмов ====
 +
Кросс-проверка, [[Скользящий контроль|скользящий контроль]]. Проблема переобучения.
-
==== Методы [[Многомерная линейная регрессия|линейной]] и [[Логистическая регрессия|логистической]] регрессии. Регуляризация обучения. ====
+
==== Теоретические оценки обобщающей способности ====
-
[[Метод максимального правдоподобия]]. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. [[Метод наименьших квадратов с итеративно-перевзвешивающимися весами]]. Необходимость [[Ридж-регрессия|ридж-оценивания]] для устранения вырожденности гессиана.
+
[[Теория Вапника-Червоненкиса]]. Трёхкомпонентное разложение обобщённой ошибки.
-
''Ликбез'': [[Нормальное распределение|нормальное распределение]], псевдообращение матриц и нормальное псевдорешение.
+
==== ROC анализ ====
 +
Структура распознающего алгоритма. Распознающий оператор и решающее правило. Кривые ROC анализа.
-
[[Media:MOTP11_2.pdf| Презентация (PDF, 593 КБ)]]
+
==== Методы распознавания, используемые в традиционном статистическом анализе ====
 +
Методы, основанные на теореме Байеса. [[Оценивание плотности распределения|Восстановление плотностей вероятности]]: параметрические методы, ядерные методы. [[Линейный дискриминант Фишера]]. [[Метод ближайших соседей]].
 +
 
 +
==== [[Многомерная линейная регрессия|Множественная линейная регрессия]] ====
 +
Оптимизация с помощью [[Метод наименьших квадратов|метода наименьших квадратов]]. Свойства оптимальных линейных регрессий.
 +
 
 +
==== Методы, основанные на принципе разделения ====
 +
Линейная машина.
==== [[Машина опорных векторов|Метод опорных векторов]] ====
==== [[Машина опорных векторов|Метод опорных векторов]] ====
Линейный классификатор. Гиперплоскость, максимизирующая зазор между классами. Обучение классификатора как задача квадратичного программирования. Получение двойственной задачи для задачи квадратичного программирования. Ядровой переход. Опорные объекты. Настройка параметров метода.
Линейный классификатор. Гиперплоскость, максимизирующая зазор между классами. Обучение классификатора как задача квадратичного программирования. Получение двойственной задачи для задачи квадратичного программирования. Ядровой переход. Опорные объекты. Настройка параметров метода.
-
 
-
''Ликбез'': решение задач условной оптимизации, правило множителей Лагранжа, переход к двойственной задаче.
 
-
 
-
[[Media:MOTP11_3.pdf|Презентация (PDF, 393 Кб)]]
 
-
 
-
[[Media:SMAIS11_SVM.pdf|Конспект лекции из другого курса (PDF, 204 Кб)]]
 
-
 
-
==== Скрытые марковские модели (СММ). Алгоритм сегментации сигнала. ====
 
-
 
-
Примеры задач сегментации сигналов. Обучение СММ с учителем. Поиск наиболее вероятной последовательности состояний. [[ЕМ-алгоритм|ЕМ-алгоритм]] и его использование для решения задачи кластеризации.
 
-
 
-
''Ликбез'': динамическое программирование
 
-
 
-
[[Media:MOTP11_4.pdf|Презентация (PDF, 723 Кб)]]
 
==== Уменьшение размерности описания данных. [[Метод главных компонент]] ====
==== Уменьшение размерности описания данных. [[Метод главных компонент]] ====
-
 
+
Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства.
-
Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства. Эффективные формулы метода главных компонент для случая, когда число объектов меньше числа признаков. Ядровая версия метода главных компонент.
+
-->
-
 
+
-
[[Media:MOTP11_5.pdf| Конспект лекции (PDF, 881Кб)]]
+
-
 
+
-
=== ЧАСТЬ 2 (лектор [[Журавлев, Юрий Иванович|Ю.И. Журавлев]]) ===
+
-
 
+
-
Стандартная задача распознавания. Алгоритм «Кора».
+
-
 
+
-
Тестовый алгоритм. Система уравнений, определяющих тупиковые тесты. Таблица обучения с двумя классами объектов. Основные упрощающие формулы при умножении левых частей тестовых уравнений.
+
-
 
+
-
Обоснование способа построения всех тупиковых тестов через приведение системы тестовых уравнений к неупрощаемой ДНФ.
+
-
 
+
-
Алгоритм вычисления оценок (АВО). Шаги определения, полный перечень параметров. Итоговая формула для числа голосов.
+
-
 
+
-
Эффективные формулы вычисления оценок в АВО.
+
-
 
+
-
Представление алгоритма как композиции распознающего оператора и фиксированного решающего правила. Алгебры над алгоритмами. Отмеченные точки в контрольной матрице. Построение корректного алгоритма, если найдена совокупность операторов, отмечающих все единичные точки информационных векторов контрольной матрицы.
+
-
 
+
-
[[Media:MOTP08_Zhuravlev.pdf|Конспекты лекций 2008 года (PDF, 402Кб)]]
+
== Литература ==
== Литература ==
-
# Журавлёв Ю.И. ''Избранные научные труды.'' – М.: «Магистр», 1998.– 420с.
 
# Журавлев Ю.И., Рязанов В.В., Сенько О.В. ''Распознавание. Математические методы. Программная система. Практические применения'', М.: Фазис, 2006. (ISBN 5-7036-0108-8)
# Журавлев Ю.И., Рязанов В.В., Сенько О.В. ''Распознавание. Математические методы. Программная система. Практические применения'', М.: Фазис, 2006. (ISBN 5-7036-0108-8)
-
# Дьяконов А.Г. [http://www.mmp1.nm.ru/AMA/lekcii12.pdf ''Алгебра над алгоритмами вычисления оценок: Учебное пособие.''] – М.: Издательский отдел ф-та ВМиК МГУ им. М.В. Ломоносова, 2006. – 72с. (ISBN 5-89407-252-2)
 
# Ветров Д.П., Кропотов Д.А. ''Байесовские методы машинного обучения'', учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
# Ветров Д.П., Кропотов Д.А. ''Байесовские методы машинного обучения'', учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
# Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ ''Pattern Recognition and Machine Learning''.] Springer, 2006.
# Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ ''Pattern Recognition and Machine Learning''.] Springer, 2006.
-
== Ссылки ==
+
== Страницы курса прошлых лет ==
-
[[Машинное обучение (курс лекций, К.В.Воронцов)|Машинное обучение (курс лекций, К.В. Воронцов)]]
+
-
[[Алгоритмы, модели, алгебры (курс лекций, Ю.И. Журавлев, А.Г. Дьяконов)|Алгоритмы, модели, алгебры (курс лекций, Ю.И. Журавлев, А.Г. Дьяконов)]]
+
[[МОТП/2012|2012 год]]
-
[[Бммо|Байесовские методы машинного обучения (спецкурс, Д.П. Ветров, Д.А. Кропотов, А.А. Осокин)]]
+
[[МОТП/2011|2011 год]]
-
[[СМАИС|Структурные методы анализа изображений и сигналов (спецкурс, Д.П. Ветров, Д.А. Кропотов, А.А. Осокин)]]
+
== См. также ==
 +
[http://shad.yandex.ru/lectures/machine_learning.xml Видео-лекции по курсу «Машинное обучение» в Школе анализа данных Яндекса]
-
[http://www.cmcspec.ru/ipb/index.php?showtopic=724&st=0 Форум студентов ВМиК с обсуждением курса]
+
[http://work.caltech.edu/telecourse.html Простой в освоении видео-курс по машинному обучению (на английском)]
-
[http://esyr.org/wiki/%D0%9C%D0%9E%D0%A2%D0%9F Информация о курсе на викиресурсе Esyr]
+
[[Машинное обучение (курс лекций, К.В.Воронцов)|Машинное обучение (курс лекций, К.В. Воронцов)]]
[[ММП|Математические методы прогнозирования (кафедра ВМиК МГУ)]]
[[ММП|Математические методы прогнозирования (кафедра ВМиК МГУ)]]
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]

Текущая версия


   Курс посвящен изучению современных методов диагностики и прогнозирования, основанных на машинном обучении, а также современных методов интеллектуального анализа данных. Даётся обзор современных методов распознавания, включая статистические, нейросетевые, комбинаторно-логические, алгебраические модели, модель опорных векторов. Рассматривается основная проблематика методов машинного обучения, включая эффект переобучения. Изучаются вопросы оценки точности классифицирующих правил или прогностических функций. Рассматривается метод ROC анализа. Изучаются методы интеллектуального анализа данных, включая методы кластерного анализа, многомерного шкалирования, а также метод главных компонент. Рассматриваются математические модели анализа надёжности.

Лектор: Сенько Олег Валентинович

Ассистент: Кропотов Д.А.

Свои вопросы по курсу и пожелания можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com, в название письма просьба добавлять [МОТП14].

В весеннем семестре 2014 года курс читается на ВМК по средам в ауд. П-8а, начало в 10:30.

Контрольная работа

В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу. При отсутствии допуска студент пишет контрольную работу на экзамене и в случае успеха сдает экзамен на первой пересдаче.

При написании контрольной работы разрешается пользоваться любыми бумажными материалами, а также калькуляторами. Использование электронных устройств (кроме калькуляторов) запрещено.

Пример варианта из контрольной 2013 года (pdf)

Тестовый вариант 2012 года (pdf)

Результаты контрольной

Экзамен

К сдаче экзамена допускаются только студенты, успешно справившиеся с контрольной работой. На экзамене при подготовке билета разрешается пользоваться любыми материалами (в том числе с электронных устройств). При ответе ничем пользоваться нельзя. Обратите внимание на вопросы теоретического минимума — незнание ответов на эти вопросы влечёт неудовлетворительную оценку за экзамен.

Теоретический минимум + вопросы

Материалы

Номер лекции Название
1 Задачи прогнозирования, обобщающая способность, скользящий контроль
2 Линейная машина, теория Вапника-Червоненкиса
3 Линейная регрессия (обновлено 11.06.)
4 Байесовский классификатор, линейный дискриминант Фишера, логистическая регрессия, К-ближайших соседей, ROC-кривые
5 Тестовый алгоритм, алгоритм вычисления оценок
6 Нейросетевые методы
7 Ядерные методы, метод опорных векторов (обновлено 11.06.)
8 Решающие деревья
9 Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция
10 Коллективные методы, бэггинг, бустинг, голосование по системам закономерностей
11 Методы кластерного анализа, метод главных компонент
12 Байесовские сети, анализ выживаемости

Программа курса

  1. Область применения методов, основанных на обучении по прецедентам. Способ обучения, основанный на минимизации эмпирического риска.
  2. Понятие обобщающей способности. Способы оценки обобщающей способности. Смысл эффекта переобучения.
  3. Теоретические подходы к исследованию обобщающей способности. Байесовский классификатор. Лемма Неймана-Пирсона. Основные положения теории Вапника-Червоненкиса.
  4. Простая и многомерная линейная регрессия.
  5. Структура алгоритма распознавания. Оценка эффективности распознающих операторов. ROC-анализ.
  6. Статистические методы распознавания.
  7. Комбинаторно-логические методы. Алгоритмы вычисления оценок.
  8. Нейросетевые методы.
  9. Метод опорных векторов.
  10. Решающие деревья.
  11. Коллективные методы распознавания. Простые комитетные методы. Наивный байесовский классификатор. Логическая коррекция. Основы алгебраической коррекции. Операции над распознающими операторами. Линейное и алгебраическое замыкания множеств распознающих операторов.
  12. Методы, основанные на коллективных решениях по наборам логических закономерностей, а также по областям признакового пространства, выделенных с помощью оптимальных разбиений.
  13. Методы кластерного анализа. Методы проектирования многомерных векторов описаний объектов обучающей выборки на плоскость. Метод главных компонент.
  14. Методы анализа выживаемости (надёжности). Кривые выживаемости. Оценки Каплан-Майера. Модель Кокса.
  15. Методы прогнозирования временных рядов.


Литература

  1. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения, М.: Фазис, 2006. (ISBN 5-7036-0108-8)
  2. Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
  3. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.

Страницы курса прошлых лет

2012 год

2011 год

См. также

Видео-лекции по курсу «Машинное обучение» в Школе анализа данных Яндекса

Простой в освоении видео-курс по машинному обучению (на английском)

Машинное обучение (курс лекций, К.В. Воронцов)

Математические методы прогнозирования (кафедра ВМиК МГУ)

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8_%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29»