Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Время занятий)
Текущая версия (08:27, 11 февраля 2026) (править) (отменить)
 
(48 промежуточных версий не показаны.)
Строка 3: Строка 3:
==О курсе==
==О курсе==
-
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Для решения задачи предлагаются современные подгоды переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), а также может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.
+
Спецкурс познакомит слушателей с нейросетями, методами их обучения и регуляризации, задачами обработки изображений, последовательностей и текстов. Будут изучены как задачи классификации и регрессии, так и генеративные модели порождения новых изображений и текстов.
-
==Лектор==
+
Изложение будет вестись с самых основ, поэтому спецкурс подойдет бакалаврам 2 и 3 курса. Бакалаврам 4 курса спецкурс будет интересен тем, что в нём особый акцент будет сделан на практическую реализацию нейросетей.
-
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
+
-
==Время занятий==
+
В частности, будут практические семинары на Python+PyTorch по сравнению методов оптимизации и регуляризации нейросетей, классификации/локализации/стилизации и генерации изображений. Применим продвинутые архитектуры для распознавания пользовательских действий по данным акселерометров, создадим систему автодополнения поисковых запросов и развернём чат-бота локально на компьютере.
-
Занятия проходят в удаленном формате по понедельникам 18-00 - 19-30 по [ссылке](https://us06web.zoom.us/j/81357650774?pwd=RWZNZzl6VmJGNlo1eDJrZy9XN0xPQT09).
+
-
Первое занятие 14 февраля.
+
-
==Лекции==
+
==Лектор==
 +
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ].
-
[https://disk.yandex.ru/i/DahA9a6xJACndA Введение в машинное обучение.]
+
Почта: v.v.kitov(at)yandex.ru.
-
[https://disk.yandex.ru/i/yLIS882WZvWuJA Градиентный спуск]
+
==Требования к слушателям==
-
[https://disk.yandex.ru/i/i_BnuYAjWChnQg Расширение выборки изображений.]
+
Необходимы базовые знания по математическому анализу, линейной алгебре и теории вероятностей. Предварительных знаний по нейронным сетям и методам обработки изображений не требуется.
-
[https://disk.yandex.ru/i/gph7FwVAtNQ9Dw Сверточные нейросети.]
+
==Программа курса==
-
[https://disk.yandex.ru/i/cpmM9us878oT7g Основные архитектуры сверточных нейросетей (классификация).]
+
* Введение в глубокое обучение.
 +
* Многослойный персептрон. Основные функции активации и функции потерь.
 +
* Автокодировщик.
 +
* Работа в среде Jupyter Lab, Jupyter Notebook. Средства отладки кода.
 +
* Методы оптимизации нейросетей.
 +
* Основы работы с PyTorch, автоматическое дифференцирование, реализация простейших нейросетей.
 +
* Операции свёртки и пулинга. Свёрточные нейросети для обработки текстов и изображений.
 +
* Основные свёрточные архитектуры для классификации изображений.
 +
* Реализация свёрточных сетей и использование предобученных сетей в PyTorch.
 +
* Сегментация изображений.
 +
* Реализация задачи супер-разрешения (super-resolution) и сиамских сетей в PyTorch.
 +
* Задача переноса стиля и её практическая реализация.
 +
* Генеративно-состязательные сети.
 +
* Рекуррентные сети, трансформеры, обработка текстов.
-
[https://disk.yandex.ru/i/vDkARFFSAE2Dhw Семантическая сегментация.]
+
==Практикум==
 +
В рамках практикума необходимо реализовать улучшенния базовых архитектур, разобранных на практических семинарах. От студентов второго курса дополнительно требуется сделать презентацию научной статьи.
-
[https://disk.yandex.ru/i/RFZmN0Y14q4nqA Оптимизационный метод переноса стиля.]
+
==Прохождение спецкурса==
 +
Для успешной сдачи спецкурса необходимо сдать практикум и устный экзамен.
-
[https://disk.yandex.ru/i/wvcSzT2NEay_zQ Трансформационный метод переноса стиля.]
+
==Регистрация на курс==
 +
Регистрация на курс происходит на самом спецкурсе по факту посещения, дополнительные действия не требуются.
-
[https://disk.yandex.ru/i/1GM8VR-hyxgsMw Мульти-стилевые трансформационные модели.]
+
==Время занятий==
-
 
+
-
[https://disk.yandex.ru/i/lT4wdWb7Pu47Aw Перенос стиля, основанный на патчах.]
+
-
 
+
-
[https://disk.yandex.ru/i/A31uPFZJtw3ZoA Генеративно-состязательные сети.]
+
-
 
+
-
[https://disk.yandex.ru/i/XC-1YMWi2gE9fg Приложения генеративно-состязательных сетей.]
+
-
 
+
-
[https://disk.yandex.ru/i/ZURITznAGYBSSA Технические улучшения стилизации.]
+
-
 
+
-
[https://disk.yandex.ru/i/cr8W3R3MguemNw Концептуальные улучшения стилизации.]
+
-
[https://disk.yandex.ru/i/pav8WPuuxyfqyA Расширение обучающей выборки.]
+
По понедельникам 18:00 - 19:30 (можем немного позже заканчивать), ауд. 658.
-
[https://disk.yandex.ru/i/N1TWXuRkctQgzQ Стилизация видео.]
+
Первое занятие - 16.02.2026.
-
=Рекомендуемые ресурсы=
+
==Рекомендуемые ресурсы==
-
* Примеры переноса стиля для видео: [https://www.youtube.com/watch?v=Khuj4ASldmU пример 1], [https://www.youtube.com/watch?v=vMyMUNvsGfQ пример 2], [https://www.youtube.com/watch?v=BcflKNzO31A пример 3].
+
* [https://deepmachinelearning.ru Авторсий онлайн-учебник по машинному и глубокому обучению]
-
* [https://arxiv.org/pdf/1705.04058.pdf Обзорная статья по переносу стиля для изображений.]
+
* [https://education.yandex.ru/handbook/ml Учебник школы анализа данных Яндекса по машинному и глубокому обучению]
-
* [https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv Лекции курса в Стэнфорде по сверточным нейронным сетям.]
+
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке PyTorch]
-
* [http://www.pittnuts.com/2015/07/top-conferences-on-machine-learning-and-computer-vision/ Топовые конференции по машинному обучению и компьютерному зрению] (самые интересные статьи там)
+
* [https://scholar.google.ru/ Поиск google по научным статьям]
-
* [https://scholar.google.ru/ Поиск google по статьям.]
+
-
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке глубинного обучения PyTorch.]
+
-
* [http://d2l.ai/index.html Книга по глубинному обучению.]
+

Текущая версия


О курсе

Спецкурс познакомит слушателей с нейросетями, методами их обучения и регуляризации, задачами обработки изображений, последовательностей и текстов. Будут изучены как задачи классификации и регрессии, так и генеративные модели порождения новых изображений и текстов.

Изложение будет вестись с самых основ, поэтому спецкурс подойдет бакалаврам 2 и 3 курса. Бакалаврам 4 курса спецкурс будет интересен тем, что в нём особый акцент будет сделан на практическую реализацию нейросетей.

В частности, будут практические семинары на Python+PyTorch по сравнению методов оптимизации и регуляризации нейросетей, классификации/локализации/стилизации и генерации изображений. Применим продвинутые архитектуры для распознавания пользовательских действий по данным акселерометров, создадим систему автодополнения поисковых запросов и развернём чат-бота локально на компьютере.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ.

Почта: v.v.kitov(at)yandex.ru.

Требования к слушателям

Необходимы базовые знания по математическому анализу, линейной алгебре и теории вероятностей. Предварительных знаний по нейронным сетям и методам обработки изображений не требуется.

Программа курса

  • Введение в глубокое обучение.
  • Многослойный персептрон. Основные функции активации и функции потерь.
  • Автокодировщик.
  • Работа в среде Jupyter Lab, Jupyter Notebook. Средства отладки кода.
  • Методы оптимизации нейросетей.
  • Основы работы с PyTorch, автоматическое дифференцирование, реализация простейших нейросетей.
  • Операции свёртки и пулинга. Свёрточные нейросети для обработки текстов и изображений.
  • Основные свёрточные архитектуры для классификации изображений.
  • Реализация свёрточных сетей и использование предобученных сетей в PyTorch.
  • Сегментация изображений.
  • Реализация задачи супер-разрешения (super-resolution) и сиамских сетей в PyTorch.
  • Задача переноса стиля и её практическая реализация.
  • Генеративно-состязательные сети.
  • Рекуррентные сети, трансформеры, обработка текстов.

Практикум

В рамках практикума необходимо реализовать улучшенния базовых архитектур, разобранных на практических семинарах. От студентов второго курса дополнительно требуется сделать презентацию научной статьи.

Прохождение спецкурса

Для успешной сдачи спецкурса необходимо сдать практикум и устный экзамен.

Регистрация на курс

Регистрация на курс происходит на самом спецкурсе по факту посещения, дополнительные действия не требуются.

Время занятий

По понедельникам 18:00 - 19:30 (можем немного позже заканчивать), ауд. 658.

Первое занятие - 16.02.2026.

Рекомендуемые ресурсы

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9_%28%D0%92.%D0%92.%D0%9A%D0%B8%D1%82%D0%BE%D0%B2%29»
Личные инструменты