MachineLearning - Новые страницы [ru]

Обработка изображений в системах искусственного интеллекта (курс лекций, А.Н.Гнеушев)/Вопросы 1 семестр

2026-04-23T23:06:15Z

Описание изменений: /* Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса специализации «Проектирование и организация систе

====Перечень контрольных вопросов для сдачи экзамена в 6-ом семестре студентов 3 курса <br \> [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|специализации «Проектирование и организация систем»]] [[Интеллектуальные системы (кафедра МФТИ)|кафедры «Интеллектуальные системы»]] [[ФУПМ]] [[МФТИ]]====
# Математическая модель интеллектуальной системы обработки изображения в системах ИИ, декомпозиция на основные функциональные подсистемы, путь сигнала, параметры подсистем. Примеры реализации модулей интеллектуальной системы для классификации объектов на изображении на основе выделения признаков и их нейросетевого классификатора. Понятие формального нейрона, пример обучаемой интеллектуальной системы для анализа изображения на основе сверточной нейронной сети, описание ее базовой функциональности.
# Первичная обработка изображения в сетчатке и зрительной коре головного мозга, структура глаза, спектральная чувствительность колбочек и палочек, их пространственная организация и функции. Выделение признаков в яркостном поле зрительной системой: в сетчатке и в первичной зрительной коре, математические модели рецептивных полей обрабатывающих нейронов в сетчатке и в первичной зрительной коре, их биологические основы. Основания механизма внимания для анализа первичной зрительной информации, зрительные иллюзии.
# Регистрация видеоизображений. Математическая модель и устройство цифровой видеокамеры. Путь и изменение яркостного сигнала в тракте видеокамеры. Основные операции, производимые цифровой видеокамерой для получения цифрового изображения. Математическая модель регистрации яркостного сигнала в сенсоре камеры, влияние диафрагмы и выдержки. Типы и устройство видео сенсоров, получение цветных изображений, мозаика Байера.
# Квантование аналогового видео сигнала сенсора в цифровой видеокамере, получение цифрового изображения. Математическая модель квантования значений непрерывной функции яркости, оптимальное квантование, квантователь Ллойда-Макса, равномерное и неравномерное квантование.
# Дискретизация аналогового сигнала сенсора в видеокамере, получение цифрового изображения. Математическая модель дискретизации двумерного непрерывного поля яркости, спектр дискретного изображения, условия восстановления непрерывного изображения (теорема Котельникова).
# Модели представления изображений. Функциональное, матричное, статистическое описание изображений, статистические модели изображения, стационарная марковская модель. Представление цветных изображений, основания трех-цветовой модели, основные цветовые модели (RGB,HSI,HSV,YUV).
# Гистограмма яркости изображения. Статистические характеристики гистограмм, примеры гистограмм различных типов изображений, моды гистограмм. Изменение гистограммы при поэлементном преобразовании изображения. Адаптивная бинаризация изображения с использованием гистограммы.
# Линейные операции с гистограммой яркости и эффект насыщения. Адаптивные линейные преобразования яркости изображения с параметрами, вычисленными по гистограмме, нормализация яркости и контрастности.
# Нелинейные операции с гистограммой яркости. Степенные, полиномиальные и кусочно-линейные преобразования яркости с параметрами, вычисленными по гистограмме. Адаптивная коррекция яркости и контрастности изображения.
# Нелинейные операции с гистограммой яркости. Приведение гистограммы яркости к заданному распределению яркости, алгоритм построения такой функции преобразования с ограничениями на производную. Эквализация, эквализация бимодальной гистограммы. Коррекция искажений яркости на основе гистограммных преобразований.
# Алгебраические преобразования изображения. Описание прозрачности областей с помощью маски. Усреднение изображений, дисперсия яркости в точках усредненного изображения с аддитивным нормальным шумом. Использование аддитивных моделей фона для контрастирования изображения, фильтрации шума, линейная регрессионная оценка фона видеоизображения.
# Модели систем обработки изображения. Характеристические функции системы: импульсная характеристика, передаточная функция, амплитудно-фазовая частотная характеристика (АФЧХ).
# Фильтрация. Интеграл суперпозиции линейной системы, интеграл свертки, свертка в пространственной области, ядро свертки. Интегральное преобразование Фурье, спектральная теорема о свертке и ее применение.
# Фильтрация. Конструирование элементарных фильтров: сглаживание, взвешенное сглаживание. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
# Фильтрация. Конструирование элементарных фильтров: фильтры на основе пространственных производных для повышения четкости изображения. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
# Фильтрация. Конструирование элементарных фильтров: сглаживание, взвешенное сглаживание. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
# Фильтрация. Конструирование элементарных фильтров: фильтры на основе пространственных производных для повышения четкости изображения. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
# Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.
# Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).
# Реконструкция изображения. Конструирование фильтра в частотной области.
# Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации.
# Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.
# Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.
# Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, Теплицева матрица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.
# Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.
# Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.
# Оконная фильтрация. Локальная нормализация, эквализация. Билатеральный фильтр.
# Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
# Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.
# Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Сверточные ядра на основе В-cплайнов. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.





''' См. также '''
* [[Обработка изображений в системах искусственного интеллекта (курс лекций, А.Н.Гнеушев)]]
* [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|Специализация «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ]]
* [[Интеллектуальные системы (кафедра МФТИ)|Кафедра «Интеллектуальные системы» ФУПМ МФТИ]]

Обработка изображений в системах искусственного интеллекта (курс лекций, А.Н.Гнеушев)

2026-04-23T20:19:27Z

Описание изменений:

{{TOCright}}
В курсе рассматриваются основы обработки и анализа изображения, основные подходы и модели для решения задач при построении систем [[Компьютерное зрение|компьютерного зрения]] и [[Искусственный интеллект|искусственного интеллекта]].

[[Компьютерное зрение]] относится к области создания интеллектуальных систем, которые получают информацию из изображений и на ее основе формируют знания и делают заключения. Автоматическая обработка, восстановление, улучшение, сверхразрешение, сегментация, распознавание, индексация, анализ и аннотация, редактирование и генерирование структур сцены на изображениях и видео являются основными задачами [[Компьютерное зрение|компьютерного зрения]].

Интеллектуальная система рассматривается как математическая модель [[Искусственный интеллект|искусственного интеллекта]] для решения специализированных задач. При построении интеллектуальной системы рассматривают несколько подзадач: регистрация и кодирование видео изображения, предобработка, выделение характерных свойств изображения объектов, их анализ и преобразование, классификация и принятие решения, оценивание параметров сцены на изображении. Изображения регистрируются с помощью видео датчиков (сенсоров видеокамер) в различных частотных диапазонах, и могут быть представлены с помощью матриц яркости. Этап предобработки и выделение признаков обычно включает такие операции с изображением, как фильтрация, яркостные и геометрические корректирующие преобразования, нормализация для облегчения устойчивого выделения характерных свойств объектов, которые представляются как некоторое множество признаков, приближённо описывающее интересующий класс объектов, его поведение. Преобразование пространства признаков позволяет их сжимать, модифицировать, или обуславливать дополнительными ограничениями и моделями, например, для сверхразрешения и генеративных приложений. [[Классификация]] строится путем анализа полученного множества признаков, разделения признакового пространства на подобласти, указывающие на соответствующий класс. Принадлежность к некоторому классу зарегистрированного объекта или структуры на изображении используется в последующих этапах принятия решения в интеллектуальной системе. Контекстно зависимые представления видеоизображений в пространстве признаков позволяет строить системы знаний, вопросно-ответные и генеративные системы в больших мультимодальных нейросетевых моделях.

Современные системы компьютерного зрения разнообразны: они реализованы как на основе классических подходов математического моделирования, так и с использованием нейросетевых моделей и машинного обучения в зависимости от требований целевой платформы, масштабируемости, ограничений вычислительных ресурсов, доступности обучающих данных, стоимости разработки и эксплуатации. Классические методы математического моделирования обладают объяснительными свойствами и востребованы в ответственных системах, где требуется достоверность и высокий уровень безопасности. Нейросетевые подходы обобщают классические решения путем обучения параметров моделей на подготовленной обучающей выборке примеров, специализации нейросетевых архитектур и типов слоев, использования регуляризации параметров и латентных моделей, учета свойств изображений и ограничений в условиях недостатка обучающих примеров.

В курсе упор делается на изложении основ и базовых алгоритмов обработки изображений. Рассматриваются модели регистрации и представления изображений, решаются модельные обратные задачи, такие как реконструкция изображения алгебраическими методами и на основе спектральной теории фильтрации, излагаются подходы выделения информативных признаков и сжатия изображений, основы вейвлет-теории и многомасштабного анализа для представления и выделения характерных свойств изображения объектов с целью дальнейшей обработки и анализа. При изложении классических моделей рассматриваются элементы нейросетевых подходов для решения тех или иных задач.

Цель курса – дать представление о предмете обработки и анализе изображений, познакомить с математическими моделями, использующимися в компьютерном зрении, выработать интуицию при решении задач и построении интеллектуальных систем.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей и случайных процессов. Необходимыми являются базовые представления о проведении вычислительного эксперимента и построении математических моделей в физике.

Курс читается студентам 3 и 4 курса кафедры [[Интеллектуальные системы (кафедра МФТИ)|«Интеллектуальные системы / проектирование и организация систем» ФУПМ МФТИ]]. Программа лекционного курса рассчитана на два семестра, предусмотрены практические (семинарские) занятия и домашняя работа (32 часа).

=== Замечания для студентов ===

* На подстранице имеется перечень [[Обработка изображений в системах искусственного интеллекта (курс лекций, А.Н.Гнеушев)/Вопросы_1_семестр|вопросов к устному экзамену (весна, 2026)]] [http://bit.ly/ML_IS_CV_Q1 ссылка]
* О найденных ошибках и опечатках [[Служебная:EmailUser/Algneushev|сообщайте мне]]. — ''[[Участник:Algneushev|А.Н.Гнеушев]] {{дата}}''
* Короткая ссылка на эту страницу: [http://bit.ly/ML_IS_CV http://bit.ly/ML_IS_CV].
* Cсылка на курс [https://lms.mipt.ru/course/view.php?id=1440 Обработка изображений в системах искусственного интеллекта (7 семестр)] на сайте МФТИ.
* Cсылка на курс [https://lms.mipt.ru/course/view.php?id=1443 Обработка изображений в системах искусственного интеллекта (8 семестр)] на сайте МФТИ.

= Семестр 1 =
== Модель интеллектуальной системы обработки и анализа изображения ==
Презентация: [[Media:ANG-CV-cource-2026-01.pdf|(PDF, 5,28 МБ)]] {{важно|— обновление 25.04.2026}}.
* Понятия искусственного интеллекта и интеллектуальной системы. Основные свойства, функции и цели интеллектуальной системы.
* Путь сигнала при обработке в системах ИИ: регистрация, выделение признаков, классификация.
* Модель выделения признаков изображения и построения карт признаков.
* Модель нейросетевого классификатора множества признаков.
* Cверточная нейросетевая модель для классификации изображения.
* Теоремы об аппроксимации.
* Типы нейросетевых архитектур моделей для решения основных задач компьютерного зрения.
* Структура глаза, колбочки и палочки, их пространственная организация и функции, рецептивные поля.
* Модель регистрации и первичной обработки изображения в сетчатке и зрительной коре головного мозга.
* Механизм внимания, неустойчивость визуального восприятия и оптические иллюзии.

== Математические модели регистрации и представления изображений ==
Презентация: [[Media:ANG-CV-cource-2026-02.pdf‎ |(PDF, 3,11 МБ)]] {{важно|— обновление 25.04.2026}}.
* Регистрация изображения. Математическая модель и устройство видеокамеры.
* Квантование видео сигнала сенсора в видеокамере, получение цифрового изображения. Квантователь Ллойда-Макса, равномерное и неравномерное квантование.
* Дискретизация сигнала сенсора в видеокамере. Теорема отсчетов Котельникова-Найквиста.
* Модели представления изображений: функциональное, матричное, статистическое. Представление цветных изображений, маска Байера.
* Основания трех-цветовой модели, субъективные характеристики света. Основные цветовые модели: RGB,HSI,HSV,YUV.
* Гистограмма яркости изображения. Статистические характеристики гистограмм.

== Поэлементные операции над изображениями ==
Презентация: [[Media:ANG-CV-cource-2026-03.pdf‎ |(PDF, 3,5 МБ)]] {{важно|— обновление 26.04.2026}}.
* Адаптивная бинаризация изображения с использованием гистограммы.
* Линейные операции с гистограммой яркости и нелинейные эффекты, насыщение. Нормализация яркости и контрастности.
* Нелинейные операции с гистограммой яркости. Степенные, полиномиальные и кусочно-линейные преобразования. Приведение гистограммы яркости, эквализация.
* Алгебраические преобразования изображения. Модели статического фона и фильтрация аддитивного шума.

== Модели линейных систем обработки изображения ==
Презентация: [[Media:ANG-CV-cource-2026-04.pdf‎ |(PDF, 2,12 МБ)]] {{важно|— обновление 26.04.2026}}.
* Понятие свертки и элементарные фильтры: сглаживания, взвешенного усреднения, операторы производных первого и второго порядка, повышение четкости, нерезкое маскирование.
* Элементы теории линейных систем. Характеристические функции системы обработки изображения.
* Импульсная характеристика, интеграл суперпозиции системы, интеграл свертки, ядро свертки.
* Переходная характеристика, передаточная функция, амплитудно-фазовая частотная характеристика.
* Спектральная теорема о свертке и ее применение к элементарным фильтрам в пространственной области.

== Спектральные методы реконструкции изображений ==
Презентация: [[Media:ANG-CV-cource-2026-05.pdf‎ |(PDF, 1,89 МБ)]] {{важно|— обновление 26.04.2026}}.
* Применение теоремы о свертке в непрерывном случае для реконструкции изображения.
* Инверсная фильтрация, инверсная фильтрация с отсечением
* Винеровская фильтрация изображения, фильтрация с регуляризацией по Тихонову.
* Модели искажений изображения и реконструкция. Модели расфокусировки, размытости вследствие движения камеры, турбулентности атмосферы.
* Прямое измерение функции рассеяния точки (ФРТ).

== Дискретная фильтрация изображений ==
Презентация: [[Media:ANG-CV-cource-2026-06.pdf‎ |(PDF, 3,84 МБ)]] {{важно|— обновление 26.04.2026}}.
* Дискретное преобразование Фурье (ДПФ) и его свойства.
* Теорема о свертке в дискретном случае. Линейная и циклическая свертка.
* Уравнение Винера-Хопфа. Винеровский фильтр, вывод для дискретного случая.
* Решение уравнения Винера-Хопфа для линейной модели искажения с аддитивным шумом.
* Быстрое преобразование Фурье (БПФ).
* Дискретная низкочастотная фильтрация (НЧ): идеальный НЧ-фильтр и эффект Гиббса, НЧ-фильтр Баттерворта, Гаусса, усреднения.
* Дискретная высокочастотная фильтрация (ВЧ): идеальный ВЧ-фильтр, ВЧ-фильтр Баттерворта, Гаусса, Лапласа.
* Режекторная, полосовая и узкополосная фильтрация.
* Адаптивная фильтрация шума на основе оценивания его параметров.
* Спектральная модель канального механизма внимания.
* Нейросетевые реализации канального механизма внимания.

== Алгебраические методы реконструкции изображений ==
Презентация: [[Media:ANG-CV-cource-2026-07.pdf‎ |(PDF, 3,52 МБ)]] {{важно|— обновление 26.04.2026}}.
* Структура матриц линейного оператора для обработки изображения.
* Линейная и циклическая свертка в матричном виде, матрица Теплица и циркулярная матрица, матрица ДПФ.
* Решение обратной линейной задачи в матричном виде.
* Обобщенно-обратная матрица для случаев переопределенной и недоопределенной систем.
* Случаи полного и неполного ранга матрицы, решения с регуляризацией и сингулярным разложением.
* Модель линейного искажения с аддитивным шумом. Матричная винеровская оценка.
* Алгебраическая реставрация со сглаживанием, регуляризация по Тихонову.


== Нелинейная фильтрация ==
Презентация: [[Media:ANG-CV-cource-2026-08.pdf‎ |(PDF, 3,15 МБ)]] {{важно|— обновление 26.04.2026}}.
* Локальная нормализация, эквализация.
* Билатеральный фильтр. 
* Фильтры порядковых статистик. Влияние размера окна фильтрации.
* Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.

===== Математическая морфология =====
* Морфологические операции на дискретных изображениях, случаи бинарного и полутонового изображений.
* Дилатация и эрозия, их двойственность.
* Операции Открытия и Замыкания, их двойственность.
* Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
* Обобщение морфологических операций на полутоновые изображения.

== Геометрические преобразования изображения ==
Презентация: [[Media:ANG-CV-cource-2026-09.pdf‎ |(PDF, 1,69 МБ)]] {{важно|— обновление 26.04.2026}}.
* Преобразование системы координат. Аффинное преобразование, полиномиальное преобразование второго порядка.

* Интерполяция значений яркости. Интерполяция по ближайшему соседу, билинейная, бикубическая интерполяция.
* Интерполяционные сверточные ядра, ядро Котельникова, ядро Ланцоша.
* Прямоугольное и треугольное ядра, В-сплайны и гауссовские ядра.


= Семестр 2 =
== Элементы теории информации, информативные признаки ==
Презентация: [[Media:ANG-CV-cource-2026-10.pdf‎ |(PDF, 1,12 МБ)]] {{важно|— обновление 26.04.2026}}.
* Количество информации, формула Хартли и Шенона.
* Показатели количества информации изображения, энтропия, коэффициент избыточности.
* Марковская модель, связь энтропии яркости пикселя и его окрестности на изображении.
* Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность.
* Уменьшение избыточности элемента на основе разностных преобразований.
* Понятие информативных элементов на основе марковской модели межэлементной избыточности.

== Спектральный анализ изображения ==
Презентация: [[Media:ANG-CV-cource-2026-11.pdf‎ |(PDF, 2,41 МБ)]] {{важно|— обновление 26.04.2026}}.
* Декоррелирующее ортогональное преобразование, Метод Главных компонент (МГК). Связь с нейросетевой моделью автоэнкодера.
* Преобразование Карунена-Лоэва для изображения как реализации стационарного процесса.
* Аппроксимация преобразования Карунена-Лоэва для марковского процесса.
* Спектральный анализ на основе ортогональных преобразований: Фурье, синусное, косинусное, Уолша, Адамара, Хаара.
* Сжатие изображения на основе перераспределения энтропии. Основные элементы алгоритмов JPEG, MPEG/H.26x.

== Нестационарные модели изображения ==
Презентация: [[Media:ANG-CV-cource-2026-12.pdf‎ |(PDF, 1,83 МБ)]] {{важно|— обновление 26.04.2026}}.
* Локально-стационарныe модели изображения.
* Функция окна, интегральное оконное преобразование Фурье (ОПФ).
* Кратковременное Преобразование Фурье, выбор оптимальной функция окна, принцип неопределенности.
* Прямое и обратное преобразование Габора, его использование в прикладных системах компьютерного зрения.

== Введение в вейвлет теорию ==
Презентация: [[Media:ANG-CV-cource-2026-13.pdf‎ |(PDF, 2,01 МБ)]] {{важно|— обновление 26.04.2026}}.
* Интегральное вейвлет-преобразование (ИВП). Базисная фейвлет-функция, локализация вейвлет-функции в пространственной и частотной областях.
* Дискретное вейвлет-преобразование (ДВП). Условие устойчивости для вейвлет-ряда, фрейм в конечномерном пространстве.
* Разложение функции по биортогональной системе вейвлетов. Вейвлет Морле, DOG.
* Кратномасштабный анализ. Гауссовская и лапласовская пирамида.
* Масштабирующая и вейвлетные функции. Вейвлеты Хаара.
* Анализ мод вейвлет-преобразования, выделение пространственной и частотной структуры изображения.
* Алгоритмы вейвлет-сжатия изображений, JPEG2000.

== Согласованная фильтрация, выделение признаков и привязка изображений ==
* Оператор декорреляции в согласованной фильтрации, сопоставление в пространстве признаков. Теорема о корреляции, применение ДПФ для поиска паттерна.
* Дескрипторы изображения для задач анализа изображения в пространстве признаков.
* Выделение краев: операторы Прюитта, Собеля, Кэнни.
* Параметризация прямых на основе преобразования Хафа.
* Дескрипторы HOG, LBP, SIFT. Привязка изображений по дескрипторам.

== Нейросетевые признаковые модели ==
* Архитектура сверточной нейронной сети с обучаемыми признаками для задачи классификации.
* Пирамида признаков в предобученных глубоких нейросетевых моделях: ResNet, HRNet, Swin
* Латентные признаковые пространства AE.
* Нейросетевые модели детекции: R-CNN, YOLO.

== Нейросетевые модели внимания ==
* Канальный и пространственный механизм внимания в сверточных сетях.
* Внимание с внешним обуславливанием.
* Кросс-и само- внимание, адаптивные признаковые пространства.

== Текстура и сегментация ==
* Текстура и методы её анализа.
* Понятие связности. Метод «лесного пожара».
* Сегментация методами водораздела и квадрирования.
* Диаграммы Вороного.
* Нейросетевые модели сегментации: U-Net, Mask R-CNN, SAM (Segment Anything Model).

== Оптические потоки ==
* Алгоритмы Лукаса-Канаде, Хорна-Шунка.
* Нейросетевая модель RAFT.

== Элементы динамических систем ==
* Фильтр Калмана.
* Задачи слежения и оценки параметров в компьютерном зрении.
* Нелинейные обобщения, рекуррентные нейросетевые модели, SSM, Mamba.

== Генеративные нейросетевые модели в компьютерном зрении ==
* Латентные пространства и генерация изображений: VAE, VQ-VAE, GAN.
* Задача сверхразрешения, SR-GAN.
* Обуславливание генерации, StyleGAN.
* Инвертируемые Normalizing Flow модели.
* Диффузионные модели, DDPM, DDIM (UNET).
* Диффузионные модели с обуславливанием: ControlNet, DiT.

* Большие трансформенные модели, архитектура LLM: Трансформер, Bert, GPT.
* Мультимодальные модели, VLM.



== Дополнительные лекции ==
* Механизмы внимания в нейронных сетях.

= Семинары и домашние задания =
== Oрганизация рабочей среды ==
* Установка Docker, создание Dockerfile
* Вызов функций C в Python (Ctypes)
* Вызов функций C++ в Python (Pybind11)

== Домашние задания ==

=== Задание 1 ===
'''Текст пособия''': [[.|Практика программирования в обработке изображений]] {{важно|— обновление }}.
* Элементы компьютерной графики на С. Реализовать библиотеку функций на С рисования и преобразования цветного изображения. Вызвать функции из Юпитер-ноутбука.
* Реализовать низкочастотный усредняющий фильтр с квадратным ядром. Вызвать функции из Юпитер-ноутбука.
* Реализовать высокочастотный фильтр Собеля, Лапласа, нерезкого маскирования. Вызвать функции из Юпитер-ноутбука.
* Оптимизировать фильтр с усредняющим квадратным ядром на С. Вызвать функции из Юпитер-ноутбука и построить графики зависимости скорости работы функций от значения размера ядра для оптимизированного алгоритма и прямой реализации на C и на Python.
=== Задание 2 ===
* Обучить нейросетевую модель ResNet-18 на CIFAR-10 для задачи классификации с оптимизатором Adam c простой аугментацией горизонтальным зеркалированием.
* Оценить Accuracy на тесте, построить интегральную ROC (логарифмический масштаб по FPR).
* Исследовать влияние параметров lr и wd оптимизатора на результат. Построить зависимость точности обученной модели от сочетания параметров оптимизатора.
* Исследовать влияние аугментации на результат.

=== Необходимое программное обеспечение ===
* среда разработки и компилятор языка C/C++
* библиотека OpenCV
* среда разработки Python
* доступ с Google Colab

= Литература =
== Основная литература ==
# ''Гонсалес Р., Вудс Р.'' Цифровая обработка изображений. М., Техносфера, 2005 – 1072 с.
# ''Pratt, W.K.'' Introduction to Digital Image Processing. CRC Press, 2013. (на рус.яз: ''Прэтт У.'' Цифровая обработка изображений: Пер. с англ.—М.: Мир, 1982.)
# Методы компьютерной обработки изображений. Под ред. В.А.Сойфера. М., Физматлит, 2003. – 780 с.
# ''Добеши И.'' Десять лекций по вейвлетам. — Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001, - 464 с.
# ''Шапиро Л, Стокман Дж.'' Компьютерное зрение. М., БИНОМ. Лаборатория знаний, 2006 – 752 с.
# ''Яне Б.'' Цифровая обработка изображений М.: Техносфера, 2007 – 584 с.
# ''Duda R.O., Hart P.E., Stork D.G'' Pattern classification. New York, Wiley Interscience Publication, 2001 – 654 p.
# ''Бишоп Кристофер М.'' Распознавание образов и машинное обучение. Вильямс, 2020 - 960 с.
== Дополнительная литература ==
# ''Ту Дж., Гонсалес Р.'' Принципы распознавания образов. М., Мир, 1978 – 412 с.
# ''Фукунага К.'' Введение в статистическую теорию распознавания образов. М., Наука, 1979 – 368 с.
# ''Форсайт Д, Понс Ж.'' Компьютерное зрение. Современный подход. М., Издательский дом «Вильямс», 2004 – 928 с.
# ''Сергей Николенко, Е. В. Архангельская, А. Кадурин.'' Глубокое обучение. Погружение в мир нейронных сетей. 481 с.
# ''Сергей Николенко.'' Машинное обучение: основы. Издательство Питер, 2025 – 608 c.
# ''Марр Д.'' ЗРЕНИЕ: Информационный подход к изучению представления и обработки зрительных образов. М., «Радио и связь». 1987.
# ''Харман Г.'' Современный факторный анализ. М., Статистика, 1972 – 486 с.
# ''Шеффе Г.'' Дисперсионный анализ. М., Наука. 1980 – 512 с.
# ''Факторный'' дискриминантный и кластерный анализ. Под ред. И.С. Енюкова. М., Финансы и статистика, 1989 – 215 с.
# ''Гренандер У.'' Лекции по теории образов м.: Мир, 1981 – 448 с.

'''Программу составил''' <br \>
[[Участник:Algneushev|А.Н.Гнеушев]], доцент, к.ф.-м.н.

= См. также =
* [[Интеллектуальные системы (кафедра МФТИ)|Кафедра «Интеллектуальные системы» ФУПМ МФТИ]]
* [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|Специализация «Проектирование и организация систем» кафедры
«Интеллектуальные системы» ФУПМ МФТИ]]
* [[Интеллектуальные_системы_(кафедра_МФТИ)/Расписание#Специализация «Проектирование и организация систем»|Расписание специализации «Проектирование и организация систем»]]
* [https://lms.mipt.ru/course/view.php?id=1440 Обработка изображений в системах искусственного интеллекта] на сайте МФТИ.

= Список подстраниц =
{{Служебная:Prefixindex/Обработка изображений в системах искусственного интеллекта (курс лекций, А.Н.Гнеушев)/}}

[[Категория:Учебные курсы]]