Регуляризация согласованности

Материал из MachineLearning.

Статья написана с использованием LLM GPT-5.6 Sol и проверена участником Kirill Solovev 13:16, 19 июля 2026 (MSD)

Содержание

1 Основная идея
2 Использование неразмеченных данных
3 Функции потерь согласованности
4 Возмущения и аугментации
- 4.1 Слабые и сильные аугментации
5 Основные методы
6 Почему регуляризация согласованности может работать
7 Практическая схема обучения
8 Применения
9 Ограничения
10 Связь с другими методами
11 Литература
12 См. также

Регуляризация согласованности (consistency regularization, consistency training) — метод регуляризации моделей машинного обучения, основанный на требовании получать согласованные предсказания для разных вариантов одного и того же объекта. Эти варианты создаются с помощью аугментаций, случайных возмущений входа или внутренних состояний модели. Предполагается, что применённые изменения не меняют смысл объекта и его правильный ответ.

Метод особенно широко используется в обучении с частичным привлечением учителя, когда доступно небольшое число размеченных примеров и большое число неразмеченных. Для неразмеченного объекта правильный класс неизвестен, но можно потребовать, чтобы после допустимого изменения объекта предсказание модели оставалось прежним. Таким образом, неразмеченные данные задают дополнительные ограничения на поведение модели и могут помогать проводить границу между классами в областях низкой плотности данных.

Регуляризация согласованности лежит в основе или входит в состав методов Π-model, Temporal Ensembling, Mean Teacher, Virtual Adversarial Training, MixMatch, UDA и FixMatch.

Основная идея

Рассмотрим задачу классификации, в которой модель с параметрами $\theta$ возвращает распределение вероятностей по $C$ классам:

$p_\theta(c\mid x),\qquad c\in\{1,\ldots,C\}.$

Пусть $t$ — случайное преобразование объекта. Если преобразование сохраняет смысл объекта, его истинный класс не должен меняться:

$y(t(x))=y(x).$

Например, небольшое изменение яркости изображения обычно не превращает изображённую кошку в собаку. Поэтому желательно, чтобы выполнялось и приближённое равенство предсказаний:

$p_\theta(\cdot\mid t(x))\approx p_\theta(\cdot\mid x).$

На практике из одного объекта создают два варианта $t_1(x)$ и $t_2(x)$ . Модель штрафуется, если её предсказания для этих вариантов заметно различаются.

Принцип согласованности не обязательно означает буквальную неизменность результата. В задачах с пространственно структурированным ответом, например в сегментации изображений, геометрическое преобразование входа должно вызвать соответствующее преобразование выходной маски. В этом случае требуется эквивариантность:

$f_\theta(t(x))\approx T(f_\theta(x)),$

где $T$ — известное преобразование ответа, соответствующее преобразованию $t$ входного объекта.

Использование неразмеченных данных

Пусть обучающая выборка состоит из размеченной и неразмеченной частей:

$\mathcal D_L=\{(x_i,y_i)\}_{i=1}^{n_L},\qquad \mathcal D_U=\{u_j\}_{j=1}^{n_U}.$

На размеченных объектах вычисляется обычная функция потерь обучения с учителем. Для классификации часто используется кросс-энтропия:

$\mathcal L_{\mathrm{sup}}(\theta)=-\frac{1}{n_L}\sum_{i=1}^{n_L}\sum_{c=1}^{C}y_{ic}\log p_\theta(c\mid x_i).$

Для неразмеченного объекта $u_j$ неизвестно значение $y_j$ , поэтому непосредственно вычислить такую потерю нельзя. Однако можно получить два возмущённых варианта объекта и сравнить предсказания модели:

$\mathcal L_{\mathrm{con}}(\theta)=\frac{1}{n_U}\sum_{j=1}^{n_U}D\left(q_j,p_\theta(\cdot\mid t_2(u_j))\right).$

Здесь $D$ — мера различия распределений, а $q_j$ — целевое предсказание, полученное по другому варианту того же объекта:

$q_j=\mathrm{sg}\left[p_{\bar\theta}(\cdot\mid t_1(u_j))\right].$

Обозначение $\mathrm{sg}$ соответствует остановке градиента (stop gradient): целевое распределение при текущем обновлении рассматривается как постоянное. Параметры $\bar\theta$ могут совпадать с текущими параметрами модели, быть усреднёнными параметрами модели за несколько шагов или принадлежать отдельной модели-учителю.

Общая функция потерь имеет вид:

$\mathcal L(\theta)=\mathcal L_{\mathrm{sup}}(\theta)+\lambda_k\mathcal L_{\mathrm{con}}(\theta),$

где $\lambda_k$ определяет вклад неразмеченных данных на шаге обучения $k$ . Часто вес согласованности постепенно увеличивают в начале обучения. Пока предсказания модели ненадёжны, слишком большой вес $\lambda_k$ может закрепить случайные ошибки.

Размеченные данные связывают предсказания с настоящими классами, а неразмеченные показывают, в каких направлениях предсказание должно оставаться устойчивым. Без размеченной части одно лишь требование согласованности обычно недостаточно: например, модель, выдающая одно и то же распределение для всех объектов, формально может иметь малую потерю согласованности.

Функции потерь согласованности

Выбор функции $D$ зависит от задачи и способа построения целевого предсказания.

Среднеквадратичная ошибка

В ранних методах часто сравнивались непосредственно вероятности классов:

$D_{\mathrm{MSE}}(q,p)=\frac{1}{C}\sum_{c=1}^{C}(q_c-p_c)^2.$

Среднеквадратичная ошибка позволяет использовать мягкое целевое распределение и не требует выбирать единственный класс. Она применялась, в частности, в Π-model, Temporal Ensembling и Mean Teacher.

Дивергенция Кульбака — Лейблера

Если целью служит распределение вероятностей, может использоваться дивергенция Кульбака-Лейблера:

$D_{\mathrm{KL}}(q,p)=\sum_{c=1}^{C}q_c\log\frac{q_c}{p_c}.$

Эта величина несимметрична: распределение $q$ рассматривается как цель, а $p$ — как приближающее его предсказание. Дивергенция Кульбака — Лейблера используется, например, в виртуальном состязательном обучении и UDA.

Кросс-энтропия и псевдометки

Целевое распределение можно заменить жёсткой псевдометкой:

$\hat y_j=\operatorname{\mathrm{argmax}}_c q_{jc}.$

После этого модель обучается предсказывать класс $\hat y_j$ для другого варианта объекта. Чтобы уменьшить влияние ошибочных псевдометок, обычно используются только уверенные предсказания:

$m_j=\mathbf 1\left[\max_c q_{jc}\geq\tau\right],$

где $\tau$ — порог уверенности, а $m_j$ показывает, следует ли учитывать объект в функции потерь.

Мягкие цели содержат информацию о соотношении вероятностей разных классов, но могут сохранять неопределённость и систематические смещения учителя. Жёсткие псевдометки дают более сильный обучающий сигнал, однако ошибочная метка может быстрее закрепиться. Поэтому современные методы часто сочетают псевдоразметку с порогом уверенности, усреднением модели или коррекцией распределения классов.

Возмущения и аугментации

Возмущение должно быть достаточно сильным, чтобы создавать полезное ограничение, но не должно менять правильный ответ. Слишком слабое преобразование приводит почти к одинаковым входам и даёт мало дополнительной информации. Слишком сильное способно изменить смысл объекта и заставить модель согласовывать предсказания там, где они должны различаться.

Источники возмущений можно разделить на несколько групп.

Источник возмущения	Примеры	Особенности
Изменение входного объекта	Обрезка, отражение, изменение цвета, добавление шума, маскирование фрагментов	Требуется проверять, сохраняется ли правильный ответ
Случайность внутри модели	Dropout, случайное объединение признаков, стохастические слои	Два прохода одного объекта могут давать разные предсказания даже без изменения входа
Состязательное возмущение	Изменение входа в направлении максимального расхождения предсказаний	Позволяет находить направления, к которым модель наиболее чувствительна
Преобразование представления	Смешивание объектов или скрытых представлений	Требует определить, как должны смешиваться целевые распределения

В компьютерном зрении используются геометрические и фотометрические аугментации, RandAugment и другие составные преобразования. В обработке текста применяются обратный перевод, перефразирование, маскирование и замена отдельных единиц текста. В обработке речи используются шум, изменение темпа и маскирование временных или частотных участков. Ни одно из таких преобразований не сохраняет смысл автоматически для всех объектов, поэтому набор аугментаций должен соответствовать предметной области.

Слабые и сильные аугментации

Во многих методах различают слабую аугментацию $t_w$ и сильную аугментацию $t_s$ . Слабое преобразование используется для получения относительно надёжного целевого предсказания, а сильное — для обучения устойчивости модели.

Так устроен FixMatch. Сначала по слабо изменённому неразмеченному объекту строится распределение

$q_j=p_\theta(\cdot\mid t_w(u_j)).$

Если максимальная вероятность превышает порог $\tau$ , наиболее вероятный класс становится псевдометкой. Затем модель должна предсказать этот класс для сильно изменённого варианта:

$\mathcal L_{\mathrm{FixMatch}}=-\frac{1}{n_U}\sum_{j=1}^{n_U}m_j\log p_\theta(\hat y_j\mid t_s(u_j)).$

Такой подход объединяет регуляризацию согласованности и псевдоразметку.

Основные методы

Π-model

В Π-model один объект дважды проходит через одну и ту же нейронную сеть при независимых аугментациях и независимой внутренней случайности. Квадрат разности двух предсказаний добавляется к функции потерь. Метод прост, но обе сравниваемые оценки производятся текущей моделью и могут быть нестабильными в начале обучения.

Близкая идея была исследована Мехди Саджади, Мехраном Джаванмарди и Толгой Тасдизеном в 2016 году: авторы использовали стохастические преобразования, dropout и случайность сети, минимизируя расхождение между несколькими проходами одного объекта.

Temporal Ensembling

В методе Temporal Ensembling целевое предсказание для каждого обучающего объекта формируется как экспоненциальное скользящее среднее предсказаний, полученных на предыдущих эпохах. Усреднение уменьшает влияние случайных ошибок отдельного прохода.

Недостаток метода состоит в необходимости хранить отдельный целевой вектор для каждого объекта. Кроме того, цель обычно обновляется только один раз за эпоху, что неудобно для больших наборов данных.

Mean Teacher

Mean Teacher использует две копии одной архитектуры: модель-ученика и модель-учителя. Ученик обновляется с помощью стохастического градиентного спуска, а параметры учителя вычисляются как экспоненциальное скользящее среднее параметров ученика:

$\bar\theta_k=\alpha\bar\theta_{k-1}+(1-\alpha)\theta_k.$

Учитель создаёт более стабильные цели, а ученик обучается согласовывать с ними свои предсказания. В отличие от Temporal Ensembling, не требуется хранить отдельные предсказания для всех объектов, а цель может обновляться после каждого шага оптимизации.

В экспериментах авторов Mean Teacher на CIFAR-10 с 4000 размеченными объектами сочетание метода с остаточной сетью снизило ошибку с ранее достигнутых 10,55 % до 6,28 %. Этот результат показал практическую ценность усреднённого учителя, хотя итоговое качество также существенно зависело от архитектуры сети.

Виртуальное состязательное обучение

Виртуальное состязательное обучение (Virtual Adversarial Training, VAT) выбирает не случайное, а наиболее неблагоприятное малое возмущение входа. Для объекта $x$ ищется направление, в котором распределение предсказаний модели изменяется сильнее всего:

$r_{\mathrm{adv}}=\mathop{\mathrm{argmax}}_{r:\|r\|\leq\epsilon}D_{\mathrm{KL}}\left(p_\theta(\cdot\mid x),p_\theta(\cdot\mid x+r)\right).$

После этого модель обучается уменьшать найденное расхождение:

$\mathcal L_{\mathrm{VAT}}=\frac{1}{n}\sum_{i=1}^{n}D_{\mathrm{KL}}\left(p_\theta(\cdot\mid x_i),p_\theta(\cdot\mid x_i+r_{\mathrm{adv},i})\right).$

При вычислении правой части исходное предсказание рассматривается как фиксированная цель. В отличие от обычного состязательного обучения, для построения возмущения не требуется истинная метка объекта. Поэтому VAT можно применять к неразмеченным данным.

VAT обеспечивает локальную гладкость распределения предсказаний в наиболее чувствительных направлениях, но сам по себе не гарантирует устойчивость к произвольным состязательным атакам.

MixMatch

MixMatch объединяет несколько идей: аугментацию неразмеченных объектов, усреднение предсказаний, уменьшение энтропии предполагаемых меток и Mixup для размеченных и неразмеченных примеров.

Для каждого неразмеченного объекта создаётся несколько вариантов. Их предсказания усредняются, после чего распределение может быть заострено с помощью температуры. Полученная мягкая метка используется при смешивании объектов.

В опубликованном авторами экспериментальном протоколе на CIFAR-10 с 250 размеченными объектами MixMatch снизил ошибку примерно с 38 % до 11 %. Результат продемонстрировал эффективность совместного применения согласованности, псевдометок и интерполяционной регуляризации.

UDA

Метод UDA (Unsupervised Data Augmentation) показал, что для регуляризации согласованности важна не только форма функции потерь, но и качество возмущений. В UDA предсказание на исходном или слабо изменённом объекте сопоставляется с предсказанием на объекте после сильной аугментации.

Для изображений авторы использовали развитые методы автоматической аугментации, а для текста — обратный перевод. В экспериментах авторов UDA применялся к шести задачам обработки текста и трём задачам компьютерного зрения. На CIFAR-10 с 250 размеченными примерами была получена ошибка 5,43 % в использованном авторами протоколе.

FixMatch

FixMatch упростил ряд предшествующих методов до сочетания двух основных компонентов: согласованности между слабой и сильной аугментациями и отбора псевдометок по уверенности. Метод не требует отдельной сложной процедуры заострения или смешивания распределений.

Авторы FixMatch сообщили точность 94,93 % на CIFAR-10 при использовании 250 размеченных изображений и 88,61 % при использовании 40 изображений. Эти числа являются результатами конкретного экспериментального протокола и не должны непосредственно сравниваться с результатами других работ без учёта архитектуры, аугментаций, разбиения данных и процедуры подбора гиперпараметров.

Почему регуляризация согласованности может работать

Метод связан с несколькими предположениями, используемыми в теории обучения с частичным привлечением учителя.

Предположение гладкости. Близкие объекты или варианты одного объекта должны иметь близкие предсказания.
Кластерное предположение. Объекты одного класса образуют области высокой плотности, а граница решения должна проходить преимущественно через области низкой плотности.
Предположение о многообразии. Наблюдаемые данные располагаются около многообразия меньшей размерности, и модель должна быть гладкой вдоль его допустимых направлений.
Предположение об инвариантности. Известные преобразования входа не меняют интересующее целевое свойство.

Для малого возмущения $\delta$ изменение выхода дифференцируемой модели можно приближённо записать через якобиан:

$f_\theta(x+\delta)-f_\theta(x)\approx J_\theta(x)\delta.$

Поэтому при использовании среднеквадратичной ошибки локальная регуляризация согласованности приближённо штрафует большие производные модели в направлениях возмущений:

$\mathbb E_\delta\|f_\theta(x+\delta)-f_\theta(x)\|^2\approx\mathbb E_\delta\|J_\theta(x)\delta\|^2.$

Таким образом, выбор распределения возмущений определяет, в каких направлениях функция модели должна быть гладкой. Случайный шум задаёт общую локальную гладкость, а предметно-ориентированные аугментации задают гладкость относительно известных преобразований данных.

Практическая схема обучения

Типичный алгоритм обучения с регуляризацией согласованности включает следующие шаги:

Из размеченной и неразмеченной частей данных выбираются мини-пакеты.
Для каждого неразмеченного объекта создаются два или несколько вариантов.
По одному варианту строится целевое распределение: предсказание текущей модели, временного ансамбля или модели-учителя.
При необходимости цель заостряется или заменяется жёсткой псевдометкой.
Ненадёжные цели могут исключаться по порогу уверенности.
На размеченных данных вычисляется контролируемая функция потерь, а на неразмеченных — потеря согласованности.
Параметры ученика обновляются градиентным методом; параметры учителя, если он используется, обновляются усреднением.

К важным гиперпараметрам относятся:

вес потери согласованности $\lambda_k$ ;
порог уверенности $\tau$ ;
сила и состав аугментаций;
коэффициент усреднения учителя $\alpha$ ;
температура заострения мягких меток;
соотношение размеченных и неразмеченных объектов в мини-пакете.

Качество метода следует оценивать на отдельной размеченной проверочной выборке. При небольшом количестве меток результаты могут заметно зависеть от конкретного разбиения данных, поэтому желательно проводить несколько запусков и сообщать среднее качество и разброс.

Применения

Регуляризация согласованности применяется в задачах, где неразмеченные данные доступны в большом количестве, а получение разметки требует значительных затрат.

В классификации изображений согласуются предсказания для разных обрезок, отражений и изменений цвета.
В сегментации согласуются маски для геометрически связанных вариантов изображения.
В распознавании речи используются шумовые, временные и частотные возмущения.
В обработке естественного языка могут использоваться перефразирование, маскирование и обратный перевод.
В медицинской обработке изображений модель-учитель может формировать цели для неразмеченных снимков, однако допустимые преобразования должны учитывать медицинский смысл данных.
В задачах адаптации домена согласованность может применяться к объектам целевого домена, для которых отсутствуют метки.

Ограничения

Нарушение смысловой инвариантности

Главное предположение метода состоит в том, что возмущение не меняет правильный ответ. Оно может нарушаться, например, при сильной обрезке изображения, удалении отрицания из текста или изменении значимой части медицинского снимка. В этом случае модель принуждается согласовывать несовместимые предсказания.

Для структурированных задач необходимо учитывать преобразование самого ответа. Обычная неизменность предсказания при повороте изображения может быть неправильной, если вместе с изображением должна повернуться выходная маска или измениться пространственная координата.

Ошибочные псевдометки

Если модель уверенно ошибается, регуляризация может закрепить её ошибку. Это явление называют смещением подтверждения (confirmation bias). Ошибка учителя становится целью для ученика, а затем может усиливаться при последующих обновлениях.

Для уменьшения риска применяются усреднённые учителя, пороги уверенности, постепенное увеличение веса неразмеченной потери и методы калибровки. Однако высокий показатель уверенности не гарантирует правильность псевдометки.

Несовпадение распределений

Стандартная постановка обычно предполагает, что размеченные и неразмеченные объекты относятся к одной задаче и одному набору классов. Если неразмеченная выборка содержит другие классы или существенно отличается по распределению, принудительная согласованность может ухудшить качество.

Перед использованием метода следует исследовать происхождение неразмеченных данных и, при необходимости, применять обнаружение объектов вне распределения, отбор примеров или методы открытого полуобучения.

Дисбаланс классов

Модель чаще создаёт уверенные псевдометки для уже хорошо распознаваемых классов. Поэтому одни классы могут получать значительно больше неразмеченных обучающих сигналов, чем другие. При сильном дисбалансе это усиливает исходное смещение модели.

Возможные меры включают пороги, зависящие от класса, балансировку мини-пакетов и согласование распределения псевдометок с ожидаемым распределением классов.

Вычислительная стоимость

Для одного объекта часто требуется два или несколько прямых проходов через модель. Методы с учителем дополнительно хранят усреднённую копию параметров, а VAT требует приближённого поиска неблагоприятного направления. Поэтому обучение может быть заметно дороже обычного обучения с учителем.

Зависимость от аугментаций

Набор преобразований вносит в модель предметные предположения. Аугментации, эффективные для естественных изображений, не обязательно подходят для документов, спутниковых снимков или медицинских данных. Результат может сильнее зависеть от выбранных преобразований, чем от конкретной формы функции потерь.

Связь с другими методами

Регуляризация согласованности тесно связана, но не совпадает со следующими подходами:

Аугментация данных при обычном обучении использует известную метку каждого преобразованного объекта. В полуобучении метки нет, поэтому согласованность создаёт обучающий сигнал из отношений между вариантами объекта.
Псевдоразметка данных назначает неразмеченному объекту предполагаемую метку. Регуляризация согласованности может использовать полное мягкое распределение без выбора одного класса, но в FixMatch эти подходы объединены.
Дистилляция знаний также обучает ученика воспроизводить распределение учителя. При регуляризации согласованности учитель и ученик обычно получают разные варианты одного объекта, а учитель часто является усреднённой версией самого ученика.
Контрастивное обучение сближает представления разных вариантов одного объекта и отделяет их от представлений других объектов. Регуляризация согласованности обычно действует непосредственно на предсказания задачи и не обязательно использует отрицательные пары.
Состязательное обучение использует специально подобранные возмущения. VAT является вариантом согласованности, в котором направление возмущения определяется изменением распределения предсказаний без знания истинной метки.

Литература

Chapelle O.; Schölkopf B.; Zien A. (eds.) Semi-Supervised Learning. — Cambridge, Massachusetts: The MIT Press, 2006. — 528 с. — ISBN 978-0-262-03358-9

van Engelen J. E.; Hoos H. H. A Survey on Semi-Supervised Learning // Machine Learning. — 2020. — Т. 109. — № 2. — С. 373—440.

Sajjadi M.; Javanmardi M.; Tasdizen T. Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning // Advances in Neural Information Processing Systems. — 2016. — Т. 29. — С. 1163—1171.

Laine S.; Aila T. Temporal Ensembling for Semi-Supervised Learning // Proceedings of the 5th International Conference on Learning Representations. — 2017.

Tarvainen A.; Valpola H. Mean Teachers Are Better Role Models: Weight-Averaged Consistency Targets Improve Semi-Supervised Deep Learning Results // Advances in Neural Information Processing Systems. — 2017. — Т. 30. — С. 1195—1204.

Miyato T.; Maeda S.-i.; Koyama M.; Ishii S. Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2019. — Т. 41. — № 8. — С. 1979—1993.

Berthelot D.; Carlini N.; Goodfellow I.; Papernot N.; Oliver A.; Raffel C. A. MixMatch: A Holistic Approach to Semi-Supervised Learning // Advances in Neural Information Processing Systems. — 2019. — Т. 32. — С. 5050—5060.

Xie Q.; Dai Z.; Hovy E.; Luong T.; Le Q. V. Unsupervised Data Augmentation for Consistency Training // Advances in Neural Information Processing Systems. — 2020. — Т. 33. — С. 6256—6268.

Sohn K.; Berthelot D.; Carlini N.; Zhang Z.; Zhang H.; Raffel C. A.; Cubuk E. D.; Kurakin A.; Li C.-L. FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence // Advances in Neural Information Processing Systems. — 2020. — Т. 33. — С. 596—608.

FixMatch: код к статье // Google Research.

См. также

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D1%81%D1%82%D0%B8»

Категории: Машинное обучение | Регуляризация | Нейронные сети | Обучение с частичным привлечением учителя