Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Лекции)
Текущая версия (08:27, 11 февраля 2026) (править) (отменить)
 
(7 промежуточных версий не показаны.)
Строка 3: Строка 3:
==О курсе==
==О курсе==
-
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.
+
Спецкурс познакомит слушателей с нейросетями, методами их обучения и регуляризации, задачами обработки изображений, последовательностей и текстов. Будут изучены как задачи классификации и регрессии, так и генеративные модели порождения новых изображений и текстов.
-
Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.
+
Изложение будет вестись с самых основ, поэтому спецкурс подойдет бакалаврам 2 и 3 курса. Бакалаврам 4 курса спецкурс будет интересен тем, что в нём особый акцент будет сделан на практическую реализацию нейросетей.
-
Пройденный спецкурс вы можете позже перезачесть в учебной части на 4м курсе (по учебному плану вам тогда нужно проходить спецкурс по выбору). Спецкурс познакомит вас с нейросетями - их основными архитектурами (многослойный персептрон, сверточная сеть, автокодировщик, генеративно-состязательные сети), что может служить преимуществом при распределении на кафедры соответствующей направленности.
+
В частности, будут практические семинары на Python+PyTorch по сравнению методов оптимизации и регуляризации нейросетей, классификации/локализации/стилизации и генерации изображений. Применим продвинутые архитектуры для распознавания пользовательских действий по данным акселерометров, создадим систему автодополнения поисковых запросов и развернём чат-бота локально на компьютере.
-
 
+
-
==Регистрация на курс==
+
-
Регистрация на курс происходит на самом спецкурсе по факту посещения, дополнительные действия не требуются.
+
==Лектор==
==Лектор==
Строка 17: Строка 14:
Почта: v.v.kitov(at)yandex.ru.
Почта: v.v.kitov(at)yandex.ru.
-
==Время занятий==
+
==Требования к слушателям==
-
По понедельникам 16:50 - 18:20, ауд. 510.
+
Необходимы базовые знания по математическому анализу, линейной алгебре и теории вероятностей. Предварительных знаний по нейронным сетям и методам обработки изображений не требуется.
-
Первое занятие - 17.02.2025.
+
==Программа курса==
-
==Лекции 2024==
+
* Введение в глубокое обучение.
 +
* Многослойный персептрон. Основные функции активации и функции потерь.
 +
* Автокодировщик.
 +
* Работа в среде Jupyter Lab, Jupyter Notebook. Средства отладки кода.
 +
* Методы оптимизации нейросетей.
 +
* Основы работы с PyTorch, автоматическое дифференцирование, реализация простейших нейросетей.
 +
* Операции свёртки и пулинга. Свёрточные нейросети для обработки текстов и изображений.
 +
* Основные свёрточные архитектуры для классификации изображений.
 +
* Реализация свёрточных сетей и использование предобученных сетей в PyTorch.
 +
* Сегментация изображений.
 +
* Реализация задачи супер-разрешения (super-resolution) и сиамских сетей в PyTorch.
 +
* Задача переноса стиля и её практическая реализация.
 +
* Генеративно-состязательные сети.
 +
* Рекуррентные сети, трансформеры, обработка текстов.
-
[https://disk.yandex.ru/i/V2u_WSI3EhMETA Задачи глубокого обучения.]
+
==Практикум==
 +
В рамках практикума необходимо реализовать улучшенния базовых архитектур, разобранных на практических семинарах. От студентов второго курса дополнительно требуется сделать презентацию научной статьи.
-
[https://disk.yandex.ru/i/Sq3fbS8dcKzxWA Нейросети. Многослойный персептрон.]
+
==Прохождение спецкурса==
 +
Для успешной сдачи спецкурса необходимо сдать практикум и устный экзамен.
-
[https://disk.yandex.ru/i/-mnCj8EseyXOUg Сверточные нейросети.]
+
==Регистрация на курс==
 +
Регистрация на курс происходит на самом спецкурсе по факту посещения, дополнительные действия не требуются.
-
[https://disk.yandex.ru/i/J9lZG_L9ZqVtcQ Расширение обучающей выборки.]
+
==Время занятий==
-
 
+
-
[https://disk.yandex.ru/i/p_pzkp4U9dmknA Оптимизационный метод переноса стиля.]
+
-
 
+
-
[https://disk.yandex.ru/i/Q9TCAc5I0Uxx4g Трансформационный метод переноса стиля.]
+
-
 
+
-
[https://disk.yandex.ru/i/rcnl8o_q09dNiQ Патчевый метод переноса стиля.]
+
-
 
+
-
[https://disk.yandex.ru/i/zmo6vx8_6n3Z0Q Технические улучшения методов стилизации изображений.]
+
-
 
+
-
[https://disk.yandex.ru/i/j1nf8Ck13TCavQ Концептуальные улучшения методов стилизации изображений.]
+
-
 
+
-
[https://disk.yandex.ru/i/Ej2UQI4eiuNknw Мульти-стилевые трансформационные модели.]
+
-
 
+
-
[https://disk.yandex.ru/i/it6nzR-oULcZZA Стилизация видео-данных.]
+
-
[https://disk.yandex.ru/i/SjTwiaO-gh_DWQ Генеративно-состязательные сети.]
+
По понедельникам 18:00 - 19:30 (можем немного позже заканчивать), ауд. 658.
-
=Экзамен=
+
Первое занятие - 16.02.2026.
-
Оценка за спецкурс ставится только по результатам устного экзамена.
+
-
=Рекомендуемые ресурсы=
+
==Рекомендуемые ресурсы==
-
* [https://deepmachinelearning.ru Глубокое машинное обучение], онлайн-учебник по машинному обучению и нейросетям.
+
* [https://deepmachinelearning.ru Авторсий онлайн-учебник по машинному и глубокому обучению]
-
* [https://arxiv.org/pdf/1705.04058.pdf Обзорная статья по переносу стиля на изображениях.]
+
* [https://education.yandex.ru/handbook/ml Учебник школы анализа данных Яндекса по машинному и глубокому обучению]
-
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке PyTorch.]
+
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке PyTorch]
-
* [https://scholar.google.ru/ Поиск google по статьям.]
+
* [https://scholar.google.ru/ Поиск google по научным статьям]

Текущая версия


О курсе

Спецкурс познакомит слушателей с нейросетями, методами их обучения и регуляризации, задачами обработки изображений, последовательностей и текстов. Будут изучены как задачи классификации и регрессии, так и генеративные модели порождения новых изображений и текстов.

Изложение будет вестись с самых основ, поэтому спецкурс подойдет бакалаврам 2 и 3 курса. Бакалаврам 4 курса спецкурс будет интересен тем, что в нём особый акцент будет сделан на практическую реализацию нейросетей.

В частности, будут практические семинары на Python+PyTorch по сравнению методов оптимизации и регуляризации нейросетей, классификации/локализации/стилизации и генерации изображений. Применим продвинутые архитектуры для распознавания пользовательских действий по данным акселерометров, создадим систему автодополнения поисковых запросов и развернём чат-бота локально на компьютере.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ.

Почта: v.v.kitov(at)yandex.ru.

Требования к слушателям

Необходимы базовые знания по математическому анализу, линейной алгебре и теории вероятностей. Предварительных знаний по нейронным сетям и методам обработки изображений не требуется.

Программа курса

  • Введение в глубокое обучение.
  • Многослойный персептрон. Основные функции активации и функции потерь.
  • Автокодировщик.
  • Работа в среде Jupyter Lab, Jupyter Notebook. Средства отладки кода.
  • Методы оптимизации нейросетей.
  • Основы работы с PyTorch, автоматическое дифференцирование, реализация простейших нейросетей.
  • Операции свёртки и пулинга. Свёрточные нейросети для обработки текстов и изображений.
  • Основные свёрточные архитектуры для классификации изображений.
  • Реализация свёрточных сетей и использование предобученных сетей в PyTorch.
  • Сегментация изображений.
  • Реализация задачи супер-разрешения (super-resolution) и сиамских сетей в PyTorch.
  • Задача переноса стиля и её практическая реализация.
  • Генеративно-состязательные сети.
  • Рекуррентные сети, трансформеры, обработка текстов.

Практикум

В рамках практикума необходимо реализовать улучшенния базовых архитектур, разобранных на практических семинарах. От студентов второго курса дополнительно требуется сделать презентацию научной статьи.

Прохождение спецкурса

Для успешной сдачи спецкурса необходимо сдать практикум и устный экзамен.

Регистрация на курс

Регистрация на курс происходит на самом спецкурсе по факту посещения, дополнительные действия не требуются.

Время занятий

По понедельникам 18:00 - 19:30 (можем немного позже заканчивать), ауд. 658.

Первое занятие - 16.02.2026.

Рекомендуемые ресурсы

Личные инструменты