Методы оптимизации в машинном обучении (курс лекций)/2021

Материал из MachineLearning.

Текущая версия

Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Преподаватели: Кропотов Д.А..

Занятия проходят онлайн.

Инвайт в AnyTask: 2v4zgAP

Все вопросы по курсу можно задавать в телеграм-группе

Видеозаписи занятий: здесь

Экзамен

Экзамен по курсу будет проходить онлайн 10 и 11 июня. Все студенты заранее распределяются по времени сдачи экзамена. За час до указанного времени по почте студенту приходит номер экзаменационного билета и зум-ссылка. При ответе со стороны студента должна быть обеспечена возможность интерактивного написания формул в ответ на вопросы экзаменатора.

Список вопросов к экзамену

Система выставления оценок по курсу

В рамках курса предполагается 6 домашних заданий. За каждое задание можно получить 5 баллов, а также, возможно, дополнительные баллы за выполнение бонусных пунктов. После мягкого дедлайна задание сдаётся со штрафом 0.2 балла в день.

Общая оценка по курсу вычисляется по правилу: Округл_вверх (0.3*<Оценка_за_экзамен> + 0.7*<Оценка_за_семестр>), где <Оценка_за_семестр> = min(5, 5*<Сумма_оценок_за_задания> / <Максимальная_сумма_за_задания_без_бонусов>). Итоговая оценка совпадает с общей при выполнении дополнительных условий:

Лекции и семинары

Дополнительный материал

1. Матрично-векторные скалярные произведения и нормы.
2. Методы сопряженных градиентов.
3. Самосогласованные функции и метод Ньютона.
4. Метод зеркального спуска.

Литература

1. J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
2. A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
3. Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
4. Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
5. S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
6. J.-P. Hiriart-Urruty, C. Lemaréchal. Convex Analysis and Minimization Algorithms I: Fundamentals and Convex Analysis and Minimization Algorithms II: Advanced Theory and Bundle Methods, Springer-Verlag Berlin Heidelberg, 1993.
7. D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
8. Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
9. J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
10. S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.

Архив

2020 год

2018 год

2017 год

2016 год

2015 год

2014 год

2012 год

См. также

Математические методы прогнозирования (кафедра ВМиК МГУ)