Out-of-distribution detection

Материал из MachineLearning.

Статья написана с использованием LLM Qwen3.7-Max и проверена участником Arsen Temirov 00:04, 20 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:Out-of-Distribution Detection

Содержание

1 Введение и мотивация
2 Формальная постановка задачи
- 2.1 Основные определения
- 2.2 Связь с байесовским выводом
3 Таксономия распределительных сдвигов
4 Связь со смежными задачами
5 Методы обнаружения
6 Оценочные метрики
7 Бенчмарки и датасеты
8 Применения
9 Открытые проблемы и направления исследований
10 См. также
11 Литература

Обнаружение данных вне распределения (англ. Out-of-Distribution Detection, сокр. OOD Detection) — задача машинного обучения, состоящая в определении того, принадлежит ли входной объект тому же распределению, на котором была обучена модель, или же он порождён иным, неизвестным на этапе обучения распределением. Одно из ключевых направлений обеспечения надёжности систем искусственного интеллекта в условиях открытого мира.

Введение и мотивация

Современные модели глубокого обучения достигают высокой точности при условии, что данные на этапе развёртывания статистически подобны обучающей выборке. На практике предположение о совпадении распределений систематически нарушается: сенсоры деградируют, условия съёмки меняются, появляются новые классы объектов, пользователи формулируют запросы, не встречавшиеся в обучающем корпусе.

Модель, не способная распознать чужеродные данные, выдаёт на них уверенные, но ошибочные предсказания. Свёрточная нейронная сеть, обученная распознавать цифры MNIST, может с вероятностью 99 % отнести случайный шум к одному из десяти классов. Такое поведение неприемлемо в задачах, связанных с безопасностью: автономном вождении, медицинской диагностике, финансовой аналитике.

OOD Detection дополняет основную модель механизмом, присваивающим каждому входному объекту оценку чужеродности (OOD score), и позволяет отклонять объекты, не принадлежащие обучающему распределению, для последующей обработки человеком или другой системой.

Формальная постановка задачи

Основные определения

Пусть $\mathcal{X}$ — пространство входных объектов, а $\mathcal{Y} = \{1, \dots, K\}$ — конечное множество целевых меток. Обучающие данные $\mathcal{D}_{\text{train}} = \{(x_i, y_i)\}_{i=1}^{N}$ предполагаются порождёнными из совместного распределения $P_{\text{in}}(X, Y)$ , называемого внутренним распределением (англ. in-distribution, ID).

На этапе вывода модель $f_\theta : \mathcal{X} \to \mathbb{R}^K$ получает на вход объект $x^*$ , который может быть порождён:

из маргинального распределения $P_{\text{in}}(X)$ (ID-объект);
из некоторого внешнего распределения $P_{\text{out}}(X)$ (OOD-объект), причём $P_{\text{out}} \neq P_{\text{in}}$ и, как правило, $P_{\text{out}}$ неизвестно на этапе обучения.

Задача OOD Detection состоит в построении оценочной функции (scoring function) $S:\mathcal{X} \to \mathbb{R}$ и порогового правила $\tau \in \mathbb{R}$ таких, что:

$\hat{y}_{\text{OOD}}(x^*) = \begin{cases} \text{ID}, & \text{if} S(x^*) \geq \tau, \\ \text{if}, & \text{if } S(x^*) < \tau. \end{cases}$

Порог $\tau$ обычно выбирается по валидационному ID-набору так, чтобы обеспечить заданный уровень истинно положительных срабатываний (True Positive Rate) на ID-данных.

Связь с байесовским выводом

В байесовской трактовке идеальная OOD-оценка связана с маргинальным правдоподобием (evidence):

$p(x^*) = \int p(x^* \mid \theta)\, p(\theta \mid \mathcal{D}_{\text{train}})\, d\theta.$

Низкое значение $p(x^*)$ свидетельствует о том, что объект маловероятен в рамках модели и, следовательно, может быть OOD. Вычисление этого интеграла неразрешимо для глубоких сетей, что мотивирует разработку аппроксимационных методов.

Таксономия распределительных сдвигов

OOD Detection тесно связано с более общей проблематикой распределительного сдвига (distribution shift). Принято выделять несколько типов сдвигов, различающихся по тому, какой компонент совместного распределения $P(X, Y)$ изменяется:

Тип сдвига	Формальное описание	Пример
Ковариатный сдвиг (covariate shift)	$P_{\text{out}}(X) \neq P_{\text{in}}(X)$ , но $P(Y \mid X)$ сохраняется	Изменение освещения, ракурса, разрешения изображений
Сдвиг меток (label shift / prior shift)	$P_{\text{out}}(Y) \neq P_{\text{in}}(Y)$ , но $P(X \mid Y)$ сохраняется	Изменение частоты заболеваний при смене региона
Сдвиг понятий (concept shift)	$P_{\text{out}}(Y \mid X) \neq P_{\text{in}}(Y \mid X)$	Изменение значения слова в другом диалекте
Открытые классы (open-set)	В $P_{\text{out}}$ присутствуют классы, отсутствующие в $\mathcal{Y}$	Появление нового вида животного в данных фотоловушек

Классическая задача OOD Detection ориентирована преимущественно на сценарий открытых классов и ковариатного сдвига, при котором семантическое содержание входного объекта существенно отличается от обучающих данных.

Связь со смежными задачами

OOD Detection пересекается с рядом других направлений, но не тождественно ни одному из них:

Обнаружение аномалий (Anomaly Detection). Аномалии — редкие, нетипичные объекты внутри одного распределения (например, дефекты на конвейере). OOD-объекты могут быть совершенно обычными в своём собственном распределении (изображение кошки для модели, обученной на собаках). Методы часто совпадают, но семантика различна.

Обнаружение новизны (Novelty Detection). Модель обучается только на ID-данных и должна детектировать ранее не встречавшиеся паттерны. Частный случай OOD Detection в одноклассовой постановке.

Распознавание в открытом множестве (Open-Set Recognition). Модель одновременно классифицирует ID-объекты и отвергает OOD-объекты. OOD Detection — подзадача open-set recognition.

Обнаружение состязательных примеров (Adversarial Detection). Состязательные примеры — специально сконструированные OOD-объекты, лежащие вблизи ID-многообразия. Их обнаружение требует более тонких механизмов, поскольку стандартные OOD-оценки могут не срабатывать на малых возмущениях.

Методы обнаружения

Методы на основе выходных вероятностей (post-hoc)

Эти методы не требуют переобучения модели и работают с уже готовой сетью, анализируя её выходы.

Максимальная вероятность softmax (MSP)

Простейший базовый метод. Для входного объекта $x$ вычисляется вектор логитов $z = f_\theta(x) \in \mathbb{R}^K$ , после чего применяется функция активации softmax:

$\hat{p}(y = k \mid x) = \frac{\exp(z_k)}{\sum_{j=1}^{K} \exp(z_j)}.$

В качестве OOD-оценки используется максимальная апостериорная вероятность:

$S_{\text{MSP}}(x) = \max_{k} \hat{p}(y = k \mid x).$

Низкое значение $S_{\text{MSP}}$ интерпретируется как признак OOD. Hendrycks и Gimpel показали, что современные нейросети склонны к чрезмерной уверенности (overconfidence) на OOD-данных, что ограничивает эффективность MSP.

ODIN (Out-of-Distribution Detector for Neural Networks)

Метод ODIN вносит два усовершенствования в MSP:

Масштабирование температуры (temperature scaling): логиты делятся на параметр $T > 1$ , что сглаживает распределение softmax и усиливает различия между ID и OOD:

$\hat{p}_T(y = k \mid x) = \frac{\exp(z_k / T)}{\sum_{j=1}^{K} \exp(z_j / T)}.$

Возмущение входа (input preprocessing): к входному изображению добавляется малое возмущение в направлении градиента кросс-энтропийной функции потерь по входу, что дополнительно увеличивает разрыв в оценках.

Energy-based OOD Detection

Liu и соавторы предложили использовать свободную энергию (free energy) в качестве OOD-оценки. Для модели с логитами $z(x)$ энергия определяется как:

$E(x) = -T \log \sum_{k=1}^{K} \exp\!\left(\frac{z_k(x)}{T}\right).$

В отличие от softmax-вероятности, энергия теоретически согласована с плотностью входного распределения $p(x) \propto \exp(-E(x)/T)$ , что делает её более надёжным индикатором OOD. ID-объекты имеют низкую энергию, OOD-объекты — высокую.

Методы на основе расстояний в пространстве признаков

Mahalanobis Distance

Lee и соавторы предложили моделировать распределение признаков каждого класса в предпоследнем слое сети как многомерное гауссовское распределение $\mathcal{N}(\mu_k, \Sigma)$ , где $\mu_k$ — эмпирическое среднее признаков класса $k$ , а $\Sigma$ — общая ковариационная матрица. OOD-оценка определяется как минимальное расстояние Махаланобиса до ближайшего классового центра:

$S_{\text{Mah}}(x) = -\min_{k \in \{1,\dots,K\}} (h(x) - \mu_k)^\top \Sigma^{-1} (h(x) - \mu_k),$

где $h(x)$ — вектор признаков, извлечённый из промежуточного слоя сети. Метод демонстрирует высокую эффективность, особенно при ковариатном сдвиге, и может применяться к признакам нескольких слоёв одновременно.

k-Nearest Neighbours в пространстве признаков

Непараметрический подход, при котором для входного объекта $x$ вычисляется расстояние (обычно евклидово или косинусное) до $k$ -го ближайшего соседа в банке признаков, сформированном из обучающей выборки. Большое расстояние до ближайших соседей свидетельствует о чужеродности объекта. Метод привлекателен простотой и отсутствием предположений о форме распределения.

Генеративные методы

Вариационные автокодировщики (VAE)

В рамках VAE оценивается нижняя граница доказательства (ELBO), служащая суррогатом логарифмического правдоподобия $\log p(x)$ . Низкое значение ELBO указывает на то, что объект плохо реконструируется моделью и, вероятно, является OOD. Известная проблема: VAE могут присваивать высокое правдоподобие простым OOD-объектам (однородным изображениям), что ограничивает надёжность метода.

Нормализующие потоки (Normalizing Flows)

Модели на основе нормализующих потоков (RealNVP, Glow и др.) позволяют точно вычислять $\log p(x)$ через формулу замены переменных. На практике они страдают от парадокса правдоподобия: OOD-изображения могут получать более высокое правдоподобие, чем ID-данные, из-за вклада локальной типичности пикселей.

Диффузионные модели

Диффузионные модели оценивают правдоподобие через процесс постепенного зашумления и восстановления. OOD-оценки строятся на основе скорости сходимости обратного процесса, величины ошибки реконструкции на промежуточных шагах диффузии или оценки score function $\nabla_x \log p_t(x)$ . Активно развивающееся направление.

Методы на основе неопределённости модели

Monte Carlo Dropout

При использовании dropout в режиме вывода (без отключения на этапе тестирования) модель $f_\theta$ становится стохастической. Выполняя $M$ прямых проходов с различными масками dropout, можно оценить эпистемическую неопределённость как дисперсию предсказаний:

$\text{Var}[\hat{y} \mid x] \approx \frac{1}{M} \sum_{m=1}^{M} \left(\hat{p}_m(y \mid x) - \bar{p}(y \mid x)\right)^2,$

где $\hat{p}_m$ — предсказание на $m$ -м проходе. Высокая дисперсия свидетельствует о неуверенности модели, что коррелирует с OOD-статусом.

Глубокие ансамбли (Deep Ensembles)

Ансамбль из $M$ независимо обученных моделей с различной инициализацией позволяет оценить как эпистемическую, так и алеаторную неопределённость. OOD-оценка строится на основе взаимного расхождения предсказаний отдельных моделей (средняя попарная KL-дивергенция или дисперсия энтропий). Глубокие ансамбли считаются одним из наиболее надёжных, хотя и вычислительно затратных, подходов.

Эвиденциальное глубокое обучение (Evidential Deep Learning)

Подход, в котором выходы нейросети параметризуют распределение Дирихле над классами, а не точечные вероятности. Концентрация распределения Дирихле служит индикатором уверенности: для OOD-объектов модель обучается выдавать низкую концентрацию (равномерное, неуверенное распределение). Обучение требует модифицированной функции потерь, включающей регуляризацию на OOD-данных.

Методы, использующие OOD-данные при обучении

Outlier Exposure (OE)

Hendrycks и соавторы предложили дообучать классификатор на вспомогательном наборе OOD-данных $\mathcal{D}_{\text{out}}$ , минимизируя кросс-энтропию с равномерным целевым распределением:

$\mathcal{L}_{\text{OE}} = \mathbb{E}_{(x,y) \sim \mathcal{D}_{\text{in}}} \left[-\log \hat{p}(y \mid x)\right] + \lambda \, \mathbb{E}_{x \sim \mathcal{D}_{\text{out}}} \left[\text{KL}\!\left(\hat{p}(\cdot \mid x) \,\|\, \text{Uniform}\right)\right].$

Подход существенно повышает качество OOD Detection, однако требует доступа к репрезентативным OOD-данным, что не всегда возможно.

Обучение с контрастивными потерями

Современные методы на основе контрастивного обучения формируют компактные кластеры ID-признаков в пространстве представлений, одновременно отталкивая OOD-объекты. Это увеличивает разделимость ID и OOD в пространстве признаков и повышает эффективность постобработочных методов (k-NN, Mahalanobis).

Оценочные метрики

OOD Detection является задачей бинарной классификации (ID vs OOD), для оценки используются стандартные метрики, адаптированные к специфике задачи. ID-объекты обычно рассматриваются как положительный класс.

Метрика	Описание
AUROC (Area Under the Receiver Operating Characteristic Curve)	Площадь под ROC-кривой. Не зависит от порога $\tau$ . Значение 1.0 соответствует идеальному разделению, 0.5 — случайному угадыванию. Наиболее распространённая метрика.
AUPR-In (Area Under the Precision-Recall Curve, ID as positive)	Площадь под PR-кривой для ID-класса. Более информативна при сильном дисбалансе.
AUPR-Out (AUPR, OOD as positive)	Аналогично, но положительным классом считается OOD.
FPR@95TPR (False Positive Rate at 95% True Positive Rate)	Доля OOD-объектов, ошибочно принятых за ID, при условии, что 95 % ID-объектов корректно распознаны. Чем ниже, тем лучше. Наиболее практичная метрика для приложений, где пропуск OOD критичен.

Бенчмарки и датасеты

Для стандартизированной оценки методов OOD Detection в компьютерном зрении устоялась следующая практика:

ID-наборы: CIFAR-10, CIFAR-100, ImageNet-1k (подмножество из 1000 классов).
OOD-наборы (для CIFAR): SVHN, Textures, Places365, LSUN-Crop, LSUN-Resize, iSUN.
OOD-наборы (для ImageNet): iNaturalist, SUN, Places, Textures.

Специализированный бенчмарк OpenOOD предоставляет унифицированный фреймворк для сравнения методов OOD Detection в различных сценариях (post-hoc, с дообучением, с аномалиями).

В области обработки естественного языка (NLP) типичная постановка включает ID-датасеты для классификации намерений или тематической категоризации (CLINC150, SST-2), а в качестве OOD используются данные из других доменов или датасеты с непересекающимися классами.

Применения

Автономное вождение

Системы восприятия беспилотных автомобилей обучаются на ограниченных наборах сцен. OOD Detection позволяет идентифицировать нестандартные ситуации — необычные дорожные конструкции, редких пешеходов, аномальные погодные условия — и передавать управление водителю или переходить в безопасный режим.

Медицинская диагностика

Модели, обученные на снимках конкретного аппарата МРТ или КТ, могут давать некорректные предсказания на данных другого оборудования или протокола сканирования. OOD Detection служит предохранительным механизмом, предотвращающим выдачу ложных диагнозов на нетипичных изображениях.

Большие языковые модели

Большие языковые модели (LLM) склонны к галлюцинациям — генерации правдоподобно звучащих, но фактически неверных ответов на запросы, выходящие за пределы их компетенции. OOD Detection в контексте LLM направлен на выявление запросов, на которые модель не способна дать надёжный ответ, и формирование ответа вида «я не знаю». Методы включают анализ внутренней неопределённости модели, перплексии, а также семантической согласованности нескольких генераций.

Промышленный контроль качества

В задачах визуального контроля на производственной линии OOD Detection позволяет обнаруживать новые типы дефектов, не представленные в обучающей выборке, а также отклонять изображения, полученные при некорректных условиях съёмки (смазанность, засветка, посторонние предметы в кадре).

Кибербезопасность

Обнаружение сетевых атак и вредоносного трафика, не похожего на известные сигнатуры, — естественное приложение OOD Detection в условиях постоянно эволюционирующих угроз.

Открытые проблемы и направления исследований

Семантический vs. ковариатный сдвиг. Существующие методы справляются с семантическим OOD (совершенно другие классы), но значительно хуже — с ковариатным сдвигом (тот же класс, но другой домен). Разработка методов, устойчивых к ковариатным изменениям при сохранении чувствительности к семантическим, остаётся открытой задачей.

OOD Detection в условиях ограниченных данных. Во многих практических сценариях объём ID-данных невелик, а репрезентативные OOD-данные отсутствуют вовсе. Разработка методов, эффективных в few-shot и zero-shot режимах, является приоритетным направлением.

Масштабируемость на большие языковые модели. Применение классических методов OOD Detection к моделям с сотнями миллиардов параметров сопряжено с вычислительными трудностями. Необходимы методы, работающие с минимальным числом прямых проходов и не требующие доступа к внутренним состояниям модели (black-box setting).

Теоретические гарантии. Большинство существующих методов эвристичны и не сопровождаются строгими теоретическими гарантиями на вероятность ошибки обнаружения. Развитие статистической теории OOD Detection находится на ранней стадии.

OOD Detection для генеративных моделей. С распространением генеративно-состязательных сетей и диффузионных моделей возникает задача обнаружения OOD-запросов, на которые генеративная модель не способна выдать корректный результат. Эта задача существенно сложнее, чем в дискриминативных моделях.

Мультимодальный OOD Detection. В системах, обрабатывающих несколько модальностей (текст + изображение + аудио), OOD-объект может быть чужим только по одной из модальностей. Разработка методов, способных локализовать источник чужеродности, является актуальным направлением.

OOD Detection в условиях непрерывного обучения. В сценариях lifelong learning распределение данных постоянно эволюционирует, и граница между ID и OOD размывается. Необходимы адаптивные механизмы, способные динамически обновлять представление о нормальном распределении без катастрофического забывания.

См. также

Литература

Hendrycks D., Gimpel K. A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks // International Conference on Learning Representations (ICLR). — 2017.

Liang S., Li Y., Srikant R. Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks // International Conference on Learning Representations (ICLR). — 2018.

Lee K., Lee K., Kinoshita H., Yoon J. A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks // Advances in Neural Information Processing Systems (NeurIPS). — 2018. — Т. 31.

Hendrycks D., Mazeika M., Dietterich T. Deep Anomaly Detection with Outlier Exposure // International Conference on Learning Representations (ICLR). — 2019.

Liu W., Wang X., Owens J., Li Y. Energy-based Out-of-distribution Detection // Advances in Neural Information Processing Systems (NeurIPS). — 2020. — Т. 33.

Gal Y., Ghahramani Z. Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning // International Conference on Machine Learning (ICML). — 2016. — С. 1050—1059.

Lakshminarayanan B., Pritzel A., Blundell C. Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles // Advances in Neural Information Processing Systems (NeurIPS). — 2017. — Т. 30.

Sensoy M., Kaplan L., Kandemir M. Evidential Deep Learning to Quantify Classification Uncertainty // Advances in Neural Information Processing Systems (NeurIPS). — 2018. — Т. 31.

Yang J., Wang P., Zou D., Zhou Z., Ding K., Peng W., Wang H., Chen G., Xia B., Gong C., Yang Y. OpenOOD: Benchmarking Generalized Out-of-Distribution Detection // Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks Track. — 2022. — Т. 35.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=Out-of-distribution_detection»