Математические основы теории прогнозирования (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
Текущая версия (16:15, 11 сентября 2014) (править) (отменить)
м
 
(52 промежуточные версии не показаны)
Строка 1: Строка 1:
-
{{notice|Внимание! Пересдача по курсу состоится в среду, 12 декабря, начало в 14-00.}}
 
-
 
__NOTOC__
__NOTOC__
Строка 8: Строка 6:
|}
|}
-
Лектор: [[Участник:Сенько Олег|д.ф.-м.н. Сенько Олег Валентинович]]
+
Лектор: [[Участник:Сенько Олег|Сенько Олег Валентинович]]
 +
 
 +
Ассистент: [[Участник:Kropotov|Кропотов Д.А.]]
 +
 
 +
Свои вопросы по курсу и пожелания можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу ''bayesml@gmail.com'', в название письма просьба добавлять [МОТП14].
 +
 
 +
В весеннем семестре 2014 года курс читается на ВМК по средам в ауд. П-8а, начало в 10:30.
== Контрольная работа ==
== Контрольная работа ==
Строка 15: Строка 19:
При написании контрольной работы разрешается пользоваться любыми бумажными материалами, а также калькуляторами. Использование электронных устройств (кроме калькуляторов) запрещено.
При написании контрольной работы разрешается пользоваться любыми бумажными материалами, а также калькуляторами. Использование электронных устройств (кроме калькуляторов) запрещено.
-
[[Media:MOTP12_test_var.pdf|Тестовый вариант (PDF, 21Кб)]]
+
[[Media:MOTP13_test_var.pdf|Пример варианта из контрольной 2013 года (pdf)]]
-
=== Список студентов, допущенных к экзамену по результатам контрольной работы ===
+
[[Media:MOTP12_test_var.pdf|Тестовый вариант 2012 года (pdf)]]
-
В фамилиях и номерах групп возможны неточности, т.к. почерк не всегда легко разобрать.
+
-
Представлены результаты с учетом всех переписываний до 11.09.
+
[https://docs.google.com/spreadsheets/d/1E1J75NvYxFWzoNnLI6C2yWpPeMfEUMZbCNIuKKTzWtw/edit?usp=sharing Результаты контрольной]
-
 
+
-
{| class="standard"
+
-
!Группа 420|| Группа 421 || Группа 422 || Группа 424 || Группа 425 || Группа 427 || Группа 428 !! СФ !! Группа не указана
+
-
|-
+
-
| Костин || Новикова || Пискун || Алейников || Свиридов || Шубин || Тарасевич || Сильдушкина || Долошказин
+
-
|-
+
-
| Кисляков || Новоторцев || Глонина || Леонова || Самохина || Фролов || Асташкин || Федосеенко || Путилин
+
-
|-
+
-
| Калужин || Акимов || Самойлов || Ветров || Попеско || Луговской || Мордань || Сендеров
+
-
|-
+
-
| Александрычева || Шальнов || Самосадный || Светлов || Переходько || Петушкова || Гомзин
+
-
|-
+
-
| Банников || Карпухин || Калистратова || Рогова || Пузиков || Ющенко || Синева
+
-
|-
+
-
| Исламгулов || Меркулов || Артемов || Костарев || Второв || Киров || Ефимов
+
-
|-
+
-
| Романенков || Батанов || Шилов || Мошкина || Степанов || Федоренко || Устинова
+
-
|-
+
-
| Куркин || Ерофеев || Плотников || Парамонов || Шариков || Акциперов || Терзи
+
-
|-
+
-
| Челнокова || Птенцов || Бабак || Копин || Баландюк-Опалинская || Пустовалов || Агаев
+
-
|-
+
-
| Лисица || Гурьянов || Булгаков || Вайсман || Куприков || Гладкова || Бадретдинов
+
-
|-
+
-
| || Зачесов || Ермишкин || Пояркова || Соколов || Сепевенко || Ушаков
+
-
|-
+
-
| || Сапатов || Жураховский || Лоза || Смагин || Коцыняк || Шуберт
+
-
|-
+
-
| || Пироженко || Свирин || Нечаев || || Лукин || Дмитриев
+
-
|-
+
-
| || Сумин || Сорокин || Ростовский || || Федотов || Абакумов
+
-
|-
+
-
| || Самсонов || Журавлев || Мелешкин || || Голушко ||
+
-
|-
+
-
| || Конев || Зимарина || Максименко || || Фионов ||
+
-
|-
+
-
| || Григорян || Ременяк || Марулин || || Семеняк ||
+
-
|-
+
-
| || || Типисова || || || Судариков ||
+
-
|-
+
-
| || || Валиев || || || Лагута ||
+
-
|-
+
-
| || || Кондратенко
+
-
|-
+
-
|}
+
== Экзамен ==
== Экзамен ==
-
К экзамену допускаются только те студенты, которые успешно справились с контрольной работой. При подготовке к экзамену обратите внимание на теоретический минимум. Отсутствие ответа на любой из вопросов теоретического минимума влечет за собой неудовлетворительную оценку за экзамен. На экзамене при подготовке билета разрешается пользоваться любыми материалами.
+
К сдаче экзамена допускаются только студенты, успешно справившиеся с контрольной работой. На экзамене при подготовке билета разрешается пользоваться любыми материалами (в том числе с электронных устройств). При ответе ничем пользоваться нельзя. Обратите внимание на вопросы теоретического минимума — незнание ответов на эти вопросы влечёт неудовлетворительную оценку за экзамен.
-
 
+
-
[[Media:MOTP12_examen.pdf|Теоретический минимум + список вопросов (PDF,439Кб)]]
+
-
== Практическое задание ==
+
[[Media:MOTP14_exam.pdf|Теоретический минимум + вопросы]]
-
Всем студентам, имеющим задолженность по курсу (в первую очередь, студентам Севастопольского филиала), предлагается возможность выполнить [[Математические основы теории прогнозирования (курс лекций)/2012/Задание СФ|практическое задание]]. Оценка за это задание будет засчитана в качестве итоговой оценки за курс (при условии наличия допуска к экзамену по результатам контрольной работы). Выполнение данного задания не является обязательным для московских студентов ВМиК. Оно является лишь альтернативой пересдаче осенью.
+
-
== Презентации к лекциям ==
+
== Материалы ==
-
{|class="standard"
+
{|class = "standard"
-
! Лекция !! Материалы
+
! Номер лекции !! Название
-
|-
+
|-
-
| align="center"|1 || [[Media:MOTP12_1.pdf|Презентация (PDF, 364Кб)]]
+
| align="center"|1 || [[Media:MOTP14_1.pdf|Задачи прогнозирования, обобщающая способность, скользящий контроль]]
-
|-
+
|-
-
| align="center"|2 || [[Media:MOTP12_2.pdf|Презентация (PDF, 302Кб)]]
+
| align="center"|2 || [[Media:MOTP14_2.pdf|Линейная машина, теория Вапника-Червоненкиса]]
-
|-
+
|-
-
| align="center"|3 || [[Media:MOTP12_3.pdf|Презентация (PDF, 204Кб)]]
+
| align="center"|3 || [[Media:MOTP14_3.pdf|Линейная регрессия]] {{важно|(обновлено 11.06.)}}
-
|-
+
|-
-
| align="center"|4 || [[Media:MOTP12_4.pdf|Презентация (PDF, 267Кб)]]
+
| align="center"|4 || [[Media:MOTP14_4.pdf|Байесовский классификатор, линейный дискриминант Фишера, логистическая регрессия, К-ближайших соседей, ROC-кривые]]
-
|-
+
|-
-
| align="center"|5 || [[Media:MOTP12_5.pdf|Презентация (PDF, 493Кб)]]
+
| align="center"|5 || [[Media:MOTP14_5.pdf|Тестовый алгоритм, алгоритм вычисления оценок]]
-
|-
+
|-
-
| align="center"|6 || [[Media:MOTP12_6.pdf|Презентация (PDF, 557Кб)]]
+
| align="center"|6 || [[Media:MOTP14_6.pdf|Нейросетевые методы]]
-
|-
+
|-
-
| align="center"|7 || [[Media:MOTP12_7.pdf|Презентация (PDF, 546Кб)]]
+
| align="center"|7 || [[Media:MOTP14_7.pdf|Ядерные методы, метод опорных векторов]] {{важно|(обновлено 11.06.)}}
-
|-
+
|-
-
| align="center"|8 || [[Media:MOTP12_8.pdf|Презентация (PDF, 305Кб)]]
+
| align="center"|8 || [[Media:MOTP14_8.pdf|Решающие деревья]]
-
|-
+
|-
-
| align="center"|9 || [[Media:MOTP12_9.pdf|Презентация (PDF, 470Кб)]]
+
| align="center"|9 || [[Media:MOTP14_9.pdf|Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция]]
-
|-
+
|-
-
| align="center"|10 || [[Media:MOTP12_10.pdf|Презентация (PDF, 366Кб)]]
+
| align="center"|10 || [[Media:MOTP14_10.pdf|Коллективные методы, бэггинг, бустинг, голосование по системам закономерностей]]
-
|-
+
|-
-
| align="center"|11 || [[Media:MOTP12_11.pdf|Презентация (PDF, 544Кб)]]
+
| align="center"|11 || [[Media:MOTP14_11.pdf|Методы кластерного анализа, метод главных компонент]]
-
|-
+
|-
-
| align="center"|12 || [[Media:MOTP12_12.pdf|Презентация (PDF, 315Кб)]]
+
| align="center"|12 || [[Media:MOTP14_12.pdf|Байесовские сети, анализ выживаемости]]
-
|-
+
|-
-
|}
+
|}
== Программа курса ==
== Программа курса ==
 +
# Область применения методов, основанных на [[Обучение по прецедентам|обучении по прецедентам]]. Способ обучения, основанный на [[Минимизация эмпирического риска|минимизации эмпирического риска]].
 +
# Понятие [[Обобщающая способность|обобщающей способности]]. Способы оценки обобщающей способности. Смысл эффекта переобучения.
 +
# Теоретические подходы к исследованию обобщающей способности. [[Байесовский классификатор|Байесовский классификатор]]. Лемма Неймана-Пирсона. Основные положения [[Теория Вапника-Червоненкиса|теории Вапника-Червоненкиса]].
 +
# Простая и многомерная [[Многомерная линейная регрессия|линейная регрессия]].
 +
# Структура алгоритма распознавания. Оценка эффективности распознающих операторов. ROC-анализ.
 +
# Статистические методы распознавания.
 +
# Комбинаторно-логические методы. [[Алгоритмы вычисления оценок|Алгоритмы вычисления оценок]].
 +
# Нейросетевые методы.
 +
# [[Машина опорных векторов|Метод опорных векторов]].
 +
# [[Решающее дерево|Решающие деревья]].
 +
# Коллективные методы распознавания. Простые комитетные методы. [[Наивный байесовский классификатор|Наивный байесовский классификатор]]. Логическая коррекция. Основы алгебраической коррекции. Операции над распознающими операторами. Линейное и алгебраическое замыкания множеств распознающих операторов.
 +
# Методы, основанные на коллективных решениях по наборам логических закономерностей, а также по областям признакового пространства, выделенных с помощью оптимальных разбиений.
 +
# Методы [[Кластеризация|кластерного анализа]]. Методы проектирования многомерных векторов описаний объектов обучающей выборки на плоскость. [[Метод главных компонент|Метод главных компонент]].
 +
# Методы [[Анализ выживаемости|анализа выживаемости]] (надёжности). Кривые выживаемости. [[Процедура Каплана-Мейера|Оценки Каплан-Майера]]. Модель Кокса.
 +
# Методы прогнозирования [[Временной ряд|временных рядов]].
 +
 +
<!--
==== Различные постановки задач [[Машинное обучение|машинного обучения]] ====
==== Различные постановки задач [[Машинное обучение|машинного обучения]] ====
Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая [[Выборка|выборка]]. [[Обобщающая способность]]. Области использования методов машинного обучения.
Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая [[Выборка|выборка]]. [[Обобщающая способность]]. Области использования методов машинного обучения.
Строка 136: Строка 108:
==== Уменьшение размерности описания данных. [[Метод главных компонент]] ====
==== Уменьшение размерности описания данных. [[Метод главных компонент]] ====
Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства.
Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства.
 +
-->
== Литература ==
== Литература ==
Строка 143: Строка 116:
== Страницы курса прошлых лет ==
== Страницы курса прошлых лет ==
 +
 +
[[МОТП/2012|2012 год]]
 +
[[МОТП/2011|2011 год]]
[[МОТП/2011|2011 год]]
-
== Ссылки ==
+
== См. также ==
-
[[Машинное обучение (курс лекций, К.В.Воронцов)|Машинное обучение (курс лекций, К.В. Воронцов)]]
+
[http://shad.yandex.ru/lectures/machine_learning.xml Видео-лекции по курсу «Машинное обучение» в Школе анализа данных Яндекса]
-
[[Бммо|Байесовские методы машинного обучения (спецкурс, Д.П. Ветров, Д.А. Кропотов, А.А. Осокин)]]
+
[http://work.caltech.edu/telecourse.html Простой в освоении видео-курс по машинному обучению (на английском)]
-
[http://www.cmcspec.ru/ipb/index.php?showtopic=1006 Форум студентов ВМиК с обсуждением курса]
+
[[Машинное обучение (курс лекций, К.В.Воронцов)|Машинное обучение (курс лекций, К.В. Воронцов)]]
[[ММП|Математические методы прогнозирования (кафедра ВМиК МГУ)]]
[[ММП|Математические методы прогнозирования (кафедра ВМиК МГУ)]]
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]

Текущая версия


   Курс посвящен изучению современных методов диагностики и прогнозирования, основанных на машинном обучении, а также современных методов интеллектуального анализа данных. Даётся обзор современных методов распознавания, включая статистические, нейросетевые, комбинаторно-логические, алгебраические модели, модель опорных векторов. Рассматривается основная проблематика методов машинного обучения, включая эффект переобучения. Изучаются вопросы оценки точности классифицирующих правил или прогностических функций. Рассматривается метод ROC анализа. Изучаются методы интеллектуального анализа данных, включая методы кластерного анализа, многомерного шкалирования, а также метод главных компонент. Рассматриваются математические модели анализа надёжности.

Лектор: Сенько Олег Валентинович

Ассистент: Кропотов Д.А.

Свои вопросы по курсу и пожелания можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com, в название письма просьба добавлять [МОТП14].

В весеннем семестре 2014 года курс читается на ВМК по средам в ауд. П-8а, начало в 10:30.

Контрольная работа

В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу. При отсутствии допуска студент пишет контрольную работу на экзамене и в случае успеха сдает экзамен на первой пересдаче.

При написании контрольной работы разрешается пользоваться любыми бумажными материалами, а также калькуляторами. Использование электронных устройств (кроме калькуляторов) запрещено.

Пример варианта из контрольной 2013 года (pdf)

Тестовый вариант 2012 года (pdf)

Результаты контрольной

Экзамен

К сдаче экзамена допускаются только студенты, успешно справившиеся с контрольной работой. На экзамене при подготовке билета разрешается пользоваться любыми материалами (в том числе с электронных устройств). При ответе ничем пользоваться нельзя. Обратите внимание на вопросы теоретического минимума — незнание ответов на эти вопросы влечёт неудовлетворительную оценку за экзамен.

Теоретический минимум + вопросы

Материалы

Номер лекции Название
1 Задачи прогнозирования, обобщающая способность, скользящий контроль
2 Линейная машина, теория Вапника-Червоненкиса
3 Линейная регрессия (обновлено 11.06.)
4 Байесовский классификатор, линейный дискриминант Фишера, логистическая регрессия, К-ближайших соседей, ROC-кривые
5 Тестовый алгоритм, алгоритм вычисления оценок
6 Нейросетевые методы
7 Ядерные методы, метод опорных векторов (обновлено 11.06.)
8 Решающие деревья
9 Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция
10 Коллективные методы, бэггинг, бустинг, голосование по системам закономерностей
11 Методы кластерного анализа, метод главных компонент
12 Байесовские сети, анализ выживаемости

Программа курса

  1. Область применения методов, основанных на обучении по прецедентам. Способ обучения, основанный на минимизации эмпирического риска.
  2. Понятие обобщающей способности. Способы оценки обобщающей способности. Смысл эффекта переобучения.
  3. Теоретические подходы к исследованию обобщающей способности. Байесовский классификатор. Лемма Неймана-Пирсона. Основные положения теории Вапника-Червоненкиса.
  4. Простая и многомерная линейная регрессия.
  5. Структура алгоритма распознавания. Оценка эффективности распознающих операторов. ROC-анализ.
  6. Статистические методы распознавания.
  7. Комбинаторно-логические методы. Алгоритмы вычисления оценок.
  8. Нейросетевые методы.
  9. Метод опорных векторов.
  10. Решающие деревья.
  11. Коллективные методы распознавания. Простые комитетные методы. Наивный байесовский классификатор. Логическая коррекция. Основы алгебраической коррекции. Операции над распознающими операторами. Линейное и алгебраическое замыкания множеств распознающих операторов.
  12. Методы, основанные на коллективных решениях по наборам логических закономерностей, а также по областям признакового пространства, выделенных с помощью оптимальных разбиений.
  13. Методы кластерного анализа. Методы проектирования многомерных векторов описаний объектов обучающей выборки на плоскость. Метод главных компонент.
  14. Методы анализа выживаемости (надёжности). Кривые выживаемости. Оценки Каплан-Майера. Модель Кокса.
  15. Методы прогнозирования временных рядов.


Литература

  1. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения, М.: Фазис, 2006. (ISBN 5-7036-0108-8)
  2. Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
  3. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.

Страницы курса прошлых лет

2012 год

2011 год

См. также

Видео-лекции по курсу «Машинное обучение» в Школе анализа данных Яндекса

Простой в освоении видео-курс по машинному обучению (на английском)

Машинное обучение (курс лекций, К.В. Воронцов)

Математические методы прогнозирования (кафедра ВМиК МГУ)

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8_%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29»