Барицентр Вассерштейна

Материал из MachineLearning.

Статья написана с использованием LLM DeepSeek и проверена участником Kirill Savitskii 18:21, 15 июля 2026 (MSD)

Барицентры Вассерштейна (также барицентры в пространстве Вассерштейна, средние Фреше по Вассерштейну) — обобщение понятия среднего арифметического на пространство вероятностных мер, оснащённое расстоянием Вассерштейна. Если среднее арифметическое чисел минимизирует сумму квадратов отклонений, то барицентр Вассерштейна минимизирует взвешенную сумму квадратов расстояний Вассерштейна до заданного набора распределений. Он находит «усреднённое» распределение, которое учитывает геометрию признакового пространства, сохраняя форму мод и избегая неестественного размытия, характерного для послойного усреднения плотностей. Эта концепция стала ключевым инструментом в машинном обучении для агрегации моделей, синтеза данных и анализа распределений.

История

Понятие барицентра в метрическом пространстве восходит к работам Мориса Фреше 1940-х годов о средних элементах. Систематическое изучение барицентров именно в пространстве Вассерштейна началось в 2010-х годах. Основополагающей считается статья Марсьяля Агё и Гийома Карлье «Barycenters in the Wasserstein space» (2011), где были установлены существование, единственность и характеризация барицентра для квадрата 2-расстояния Вассерштейна $W_2^2$ для абсолютно непрерывных мер ^[1]. Вскоре после этого Рабин и др. (2011) применили барицентры к задачам смешивания текстур и предложили первые эффективные численные алгоритмы, использующие энтропийную регуляризацию ^[1]. Решающий вычислительный прорыв совершили Марко Кутури и Арно Дусе (2014), адаптировав алгоритм Синкхорна для быстрого вычисления регуляризованных барицентров ^[1], а Бенаму и др. (2015) дали строгую формулировку в терминах итеративных брегмановских проекций ^[1]. С тех пор тема активно развивается, охватывая специальные семейства распределений (гауссовские ^[1]), приложения в федеративном обучении и генеративных моделях.

Математическое определение

Пусть $\mathcal{P}_2(\Omega)$ — множество вероятностных мер на выпуклом компактном метрическом пространстве $(\Omega, d)$ , обладающих конечным вторым моментом, а $W_2(\mu,\nu)$ — 2-расстояние Вассерштейна между мерами $\mu$ и $\nu$ , определённое как $W_2^2(\mu,\nu) = \inf_{\pi \in \Pi(\mu,\nu)} \int_{\Omega\times\Omega} d(x,y)^2 \, d\pi(x,y),$ где $\Pi(\mu,\nu)$ — множество транспортных планов с маргиналами $\mu$ и $\nu$ .

Барицентром Вассерштейна набора мер $\{\mu_i\}_{i=1}^N \subset \mathcal{P}_2(\Omega)$ с весами $\lambda_i > 0$ , $\sum_i \lambda_i = 1$ , называется любая мера $\bar{\mu} \in \mathcal{P}_2(\Omega)$ , достигающая минимума функционала $\bar{\mu} = \arg\min_{\mu \in \mathcal{P}_2(\Omega)} \sum_{i=1}^N \lambda_i W_2^2(\mu, \mu_i).$ Эта задача является частным случаем построения среднего Фреше в метрическом пространстве $(\mathcal{P}_2(\Omega), W_2)$ . Если все меры $\mu_i$ абсолютно непрерывны относительно меры Лебега, барицентр существует и единствен ^[1].

В вычислительной практике широко используют энтропийно-регуляризованный барицентр Вассерштейна, заменяющий точное расстояние на сглаженный функционал $W_{2,\varepsilon}^2(\mu,\nu) = \inf_{\pi \in \Pi(\mu,\nu)} \left\{ \int d(x,y)^2 d\pi + \varepsilon \, \text{KL}(\pi \| \mu \otimes \nu) \right\},$ где $\varepsilon > 0$ — параметр регуляризации, а $\text{KL}$ — дивергенция Кульбака — Лейблера. Соответствующий энтропийный барицентр минимизирует сумму таких сглаженных расстояний и допускает эффективное вычисление алгоритмом Синкхорна ^[1].

Геометрическая интерпретация

В пространстве Вассерштейна $(\mathcal{P}_2(\Omega), W_2)$ кратчайшие пути (геодезические) описываются уравнением Макканна: геодезическая между $\mu_0$ и $\mu_1$ даётся сжатием-растяжением оптимального транспортного плана $\mu_t = ((1-t)\text{id} + t T)_\# \mu_0$ , где $T$ — оптимальное отображение. Барицентр двух мер с весами $(1-t, t)$ в точности совпадает с промежуточной точкой этой геодезической. Для большего числа мер барицентр является естественным обобщением понятия «взвешенного среднего» на искривлённое пространство мер, предоставляя способ интерполяции, который уважает внутреннюю геометрию данных.

Эквивалентно, через мультимаргинальный транспорт, барицентр можно охарактеризовать как маргинал специального транспортного плана, связывающего все исходные меры одновременно: $\bar{\mu} = P_\# \gamma,$ где $\gamma \in \Pi(\mu_1, \dots, \mu_N)$ минимизирует взвешенную сумму квадратов расстояний до некоторой усредняющей точки, а $P$ — проекция на эту «барицентрическую» координату ^[1].

Свойства

Обобщение евклидова среднего. Для мер, сосредоточенных в точках $\delta_{x_i}$ , барицентр Вассерштейна совпадает с мерой Дирака в точке взвешенного среднего $\delta_{\sum \lambda_i x_i}$ .
Сохранение структуры семейств. Для многомерных гауссовских мер $\mu_i = \mathcal{N}(m_i, \Sigma_i)$ барицентр Вассерштейна также является гауссовским $\mathcal{N}(\bar{m}, \bar{\Sigma})$ с параметрами

 
 где ковариационная матрица находится как решение матричного уравнения (неподвижная точка) ^[1].

Интерполяция формы. В отличие от евклидова усреднения гистограмм, порождающего смесь распределений, барицентр Вассерштейна интерполирует между формами мод, сохраняя их чёткость (см. рисунки в статье Рабина и др. ^[1]).
Регулярность. Если хотя бы одна из мер абсолютно непрерывна, барицентр абсолютно непрерывен; его плотность является гладкой при соответствующих условиях на исходные меры ^[1].
Неединственность для дискретных мер. Для эмпирических (дискретных) мер без дополнительных предположений барицентр может быть не единствен. Это мотивирует использование энтропийной регуляризации.

Методы вычисления

Дискретный случай и линейное программирование

Когда каждая мера $\mu_i$ представлена конечным набором точек-носителей, задача минимизации сводится к поиску носителя и весов барицентра. Прямое решение требует решения мультимаргинальной транспортной задачи, что является NP-трудным уже для трёх мер. Для фиксированного конечного носителя барицентра задача становится задачей линейного программирования большой размерности.

Энтропийная регуляризация и алгоритм Синкхорна

Прорывом стало введение энтропийной регуляризации. При фиксированном дискретном носителе $\{x_j\}_{j=1}^M \subset \Omega$ для всех мер и барицентра, энтропийный барицентр $\bar{a} \in \mathbb{R}^M_+$ (вектор весов) может быть найден итеративной процедурой, известной как алгоритм Синкхорна для барицентров ^[1]^[1]:

1. Инициализировать $\bar{a}^{(0)}$ равномерно. 2. Для каждого $i$ вычислить матрицу ядра $K_i = \exp(-d(x_j, x_k)^2 / \varepsilon)$ . 3. Чередовать шаги:

где $b_i$ — векторы весов исходных мер, $\oslash$ — поэлементное деление. Итерации сходятся к регуляризованному барицентру за десятки шагов. Этот подход масштабируется на большие наборы данных и легко реализуется на графических процессорах.

Замкнутые формы для специальных семейств

Для параметрических семейств распределений барицентр часто можно выразить через операции над параметрами. Помимо гауссовского случая, известны замкнутые решения для одномерных непрерывных распределений через квантильные функции, для распределений на сфере и для распределений с общей структурой носителя.

Преимущества и ограничения

Преимущества:

Учитывает геометрию пространства признаков, сохраняя модальную структуру.
Устойчив к шуму и выбросам по сравнению с послойным усреднением в пространстве плотностей.
Интерполирует осмысленным образом, создавая промежуточные формы, а не наложения.
Хорошо сочетается с дифференцируемыми пайплайнами через регуляризацию Синкхорна.

Ограничения:

Высокая вычислительная стоимость без регуляризации: точное решение требует мультимаргинального транспорта.
Чувствительность к выбору метрики $d(x,y)$ и параметра регуляризации $\varepsilon$ .
Энтропийная регуляризация вносит размытие, снижая точность аппроксимации истинного барицентра.
«Проклятие размерности»: для многомерных данных число носителей должно расти экспоненциально для сохранения точности аппроксимации мер.

Применения в машинном обучении

Барицентры Вассерштейна стали универсальным строительным блоком во многих областях:

Федеративное обучение. Агрегация вероятностных моделей (например, нейронных сетей с байесовскими весами) путём нахождения барицентра апостериорных распределений клиентов, что устойчивее к неоднородности данных, чем простое усреднение параметров ^[1].
Кластеризация. Wasserstein k-means использует барицентры как центры кластеров для распределений, позволяя группировать тексты, изображения или временные ряды целиком ^[1].
Синтез и интерполяция данных. В WGAN барицентры в латентном пространстве или пространстве данных создают плавные морфинги изображений. Смешивание текстур, цветовых палитр и форм объектов осуществляется с сохранением структур ^[1].
Доменная адаптация. Барицентр между распределениями исходного и целевого доменов строит промежуточные представления для постепенного переноса модели.
Обработка текстов. На основе Word Mover's Distance (WMD) барицентры предложений дают «усреднённый смысл» нескольких текстов, применяются в анализе настроений и извлечении информации.
Дистилляция наборов данных. Небольшой синтетический набор данных, полученный как барицентр Вассерштейна полноразмерных обучающих подмножеств, сжимает информацию о распределении, повышая эффективность обучения.
Анализ медицинских изображений. Усреднение распределений интенсивностей тканей в популяционных исследованиях или построение шаблонов (атласов).

См. также

Примечания

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D1%80%D0%B8%D1%86%D0%B5%D0%BD%D1%82%D1%80_%D0%92%D0%B0%D1%81%D1%81%D0%B5%D1%80%D1%88%D1%82%D0%B5%D0%B9%D0%BD%D0%B0»

Категории: Машинное обучение | Теория вероятностей | Оптимальный транспорт | Методы усреднения