Эквивариантные нейронные сети

Материал из MachineLearning.

Версия от 11:46, 18 июля 2026; Aleksei Klesov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM DeepSeek-V3 и проверена участником А. Клёсов 17:20, 15 июля 2026 (MSD)

Эквивариантные нейронные сети (англ. equivariant neural networks) — класс архитектур искусственных нейронных сетей, в которых симметрии данных встроены непосредственно в структуру модели. Формально это означает, что применение некоторого группового преобразования к входным данным приводит к предсказуемому (как правило, такому же групповому) преобразованию выходных данных сети. Эквивариантные сети являются центральным понятием геометрического глубокого обучения — области машинного обучения, изучающей данные с присущей им геометрической структурой.

Фундаментальное преимущество эквивариантных архитектур заключается во встраивании априорных знаний о симметриях задачи в виде индуктивного смещения (англ. inductive bias). Это позволяет существенно повысить обобщающую способность и выборную эффективность моделей, особенно в условиях ограниченных обучающих данных. В отличие от инвариантных сетей, выход которых не зависит от преобразования входа, эквивариантные сети сохраняют информацию о применённом преобразовании, что критически важно для многих прикладных задач.

Определение

Пусть заданы множество входных данных $\mathbb{V}$ , множество выходных данных $\mathbb{W}$ и функция f: $\mathbb{V} \to \mathbb{W}$ , реализуемая нейронной сетью. Пусть группа G действует на $\mathbb{V}$ и на $\mathbb{W}$ . Функция f называется эквивариантной относительно группы G, если для всех $v \in \mathbb{V}$ и $g \in G$ выполняется:

$f(g \cdot v) = g \cdot f(v)$ .

Иными словами, диаграмма

$\begin{array}{ccc} \mathbb{V} & \stackrel{f}{\longrightarrow} & \mathbb{W} \\ \downarrow g & & \downarrow g \\ \mathbb{V} & \stackrel{f}{\longrightarrow} & \mathbb{W} \end{array}$

коммутативна для всех $g \in G$ . Частный случай, когда действие группы G на $\mathbb{W}$ тривиально (то есть $g \cdot w = w$ для всех $w \in \mathbb{W}$ ), называется инвариантностью (англ. invariance).

Важной особенностью эквивариантных нейронных сетей является то, что они, как правило, не являются ни линейными, ни даже непрерывными, даже когда $\mathbb{V}$ и $\mathbb{W}$ — векторные пространства, а действия группы G на них линейны. Эквивариантная сеть строится как композиция эквивариантных линейных отображений (интертвенеров) и эквивариантных нелинейностей.

Мотивация

Традиционные свёрточные нейронные сети (CNN) обладают трансляционной эквивариантностью благодаря операции свёртки и разделению весов (англ. weight sharing). Однако многие прикладные задачи требуют учёта более широких классов симметрий: вращений, отражений, масштабирований, перестановок или симметрий физических законов. Эквивариантные сети обобщают идею свёртки на произвольные группы преобразований, обеспечивая:

Повышение выборной эффективности: модель требует меньше данных для обучения, так как использует симметрии для обобщения.
Улучшение обобщения: встроенные симметрии предотвращают переобучение и обеспечивают корректное поведение на данных вне распределения (англ. out-of-distribution).
Физическая состоятельность: в физических и химических приложениях модели, не учитывающие фундаментальные симметрии, могут давать физически нереалистичные предсказания, например, нарушать законы сохранения импульса или момента импульса.
Интерпретируемость: архитектуры, построенные на принципах теории представлений групп, структурно подобны математическому описанию физических законов, что упрощает интерпретацию и интеграцию с другими численными методами.

Математические основы

Группы и представления

Центральным математическим аппаратом эквивариантных сетей является теория представлений групп — раздел математики, изучающий гомоморфизмы групп в группы обратимых линейных преобразований векторных пространств. Представление группы G на векторном пространстве V — это гомоморфизм $\rho: G \to GL(V)$ , где $GL(V)$ — группа всех обратимых линейных преобразований V. Тогда действие группы задаётся как $g \cdot v = \rho(g)v$ .

Линейное отображение L: $V \to W$ между двумя представлениями $(V, \rho_V)$ и $(W, \rho_W)$ называется эквивариантным (или интертвенером), если:

$L(\rho_V(g)v) = \rho_W(g)L(v)$ для всех $g \in G, v \in V$ .

G-свёртка

Базовой операцией в эквивариантных сетях является G-свёртка (англ. group convolution) — обобщение стандартной свёртки на функции, определённые на группе G. Для функций f, $\psi: G \to \mathbb{R}$ G-свёртка определяется как:

$(f * \psi)(g) = \sum_{h \in G} f(h) \psi(h^{-1}g)$ для дискретных групп.

Для групп Ли сумма заменяется интегралом по мере Хаара. Ключевое свойство G-свёртки — она коммутирует с действием группы: $L_g(f * \psi) = (L_g f) * \psi$ , где $L_g$ — оператор сдвига на группе, что обеспечивает эквивариантность слоя.

Управляемые свёртки

Обобщением G-свёртки являются управляемые свёрточные сети (англ. steerable CNNs). В этом подходе фиксируются групповые действия на входных и выходных признаковых пространствах, и затем выводятся все возможные эквивариантные линейные отображения между ними. Это позволяет строить сети, эквивариантные относительно непрерывных групп вращений SO(2), SO(3) и их обобщений. Математически управляемые свёртки опираются на теорию сферических функций и коэффициентов Клебша — Гордана для разложения признаков по неприводимым представлениям группы.

История

Идеи использования симметрий в нейронных сетях имеют долгую историю. Ещё в книге «Перцептроны» (1969) Марвин Минский и Сеймур Пейперт обсуждали необходимость разделения весов для достижения инвариантности. Ранние работы по трансляционной эквивариантности свёрточных сетей восходят к Кунихико Фукусиме (1980) и Яну Лекуну (1989).

Систематическое обобщение свёрточных сетей на произвольные группы преобразований было предложено Тако Коэном (англ. Taco Cohen) и Максом Веллингом (англ. Max Welling) в 2016 году в работе «Group Equivariant Convolutional Networks»^[1]. Они ввели понятие G-CNN (англ. Group Equivariant Convolutional Neural Networks) — архитектур, эквивариантных относительно конечных групп, таких как группа поворотов на 90° с отражениями (p4m). Эта работа заложила основы целого направления и ввела сам термин «эквивариантные нейронные сети».

В 2017 году те же авторы предложили управляемые свёрточные сети (англ. steerable CNNs), распространив подход на непрерывные группы вращений^[1]. В 2018 году Рами Кондор и Шубхенду Триведи разработали общую теорию эквивариантных сетей для компактных групп^[1].

Дальнейшее развитие включало:

SE(3)-эквивариантные сети для трёхмерных данных (2018–2020);
E(n)-эквивариантные графовые нейронные сети (EGNN);
подходы на основе алгебр Клиффорда (GLGENN, 2025).

Архитектуры

Групповые эквивариантные свёрточные сети (G-CNN)

G-CNN являются прямым обобщением стандартных CNN. Вместо плоскости $\mathbb{R}^2$ признаки определяются на группе G. Свёрточные слои заменяются на G-свёртки, а пулинг может выполняться по подгруппам или фактор-пространствам. Такие сети обеспечивают точную эквивариантность относительно выбранной группы преобразований.

Управляемые свёрточные сети

Управляемые сети используют аппарат теории представлений для работы с непрерывными группами. Входные и выходные признаки представляются как наборы тензорных полей, преобразующихся по заданным представлениям группы. Свёрточные ядра параметризуются в базисе из эквивариантных функций, что обеспечивает контролируемое преобразование признаков.

Эквивариантные графовые нейронные сети

Для данных, представленных в виде графов, разработаны архитектуры, эквивариантные относительно перестановок вершин (англ. permutation equivariance). В более общем случае строятся E(n)-эквивариантные графовые сети (EGNN)^[1], учитывающие симметрии евклидова пространства.

Эквивариантные многослойные перцептроны

Показано, что многослойные перцептроны (MLP) также могут быть сделаны эквивариантными относительно групповых действий^[1]. Существуют теоремы об универсальной аппроксимации для эквивариантных MLP.

Применения

Эквивариантные нейронные сети находят применение в широком спектре областей:

Компьютерное зрение: распознавание объектов независимо от их ориентации, сегментация и детектирование.
Молекулярная динамика и Квантовая химия: моделирование потенциальных энергий и силовых полей молекул с учётом вращательной и трансляционной симметрии.
Физика высоких энергий: анализ данных коллайдеров и моделирование рассеяния частиц.
Робототехника: управление роботами с учётом трёхмерных симметрий (SE(3)-эквивариантные модели).
Науки о Земле: обработка спутниковых снимков и геофизических данных.
Биоинформатика: предсказание структуры белков (например, AlphaFold 2 использует эквивариантные принципы).
Моделирование физических систем: решение дифференциальных уравнений в частных производных с учётом симметрий.

Современное состояние и перспективы

Теория эквивариантных нейронных сетей активно развивается. Среди актуальных направлений исследований:

Разработка универсальных фреймворков для произвольных групп, включая некомпактные и бесконечномерные группы;
Интеграция эквивариантности в трансформеры и другие современные архитектуры;
Методы автоматического открытия симметрий из данных;
Приближённая эквивариантность для случая несовершенных симметрий;
Эффективные реализации на GPU и специализированных библиотеках (например, NVIDIA cuEquivariance).

Несмотря на впечатляющие успехи, эквивариантные сети остаются сложными в реализации и требуют глубокого понимания математического аппарата. Однако развитие программных библиотек и фреймворков постепенно снижает порог вхождения.

См. также

Примечания

Литература

Cohen, T. S., & Welling, M. Group Equivariant Convolutional Networks // Proceedings of the 33rd International Conference on Machine Learning (ICML). — 2016. — С. 2990–2999.

Cohen, T. S., & Welling, M. Steerable CNNs // International Conference on Learning Representations (ICLR). — 2017.

Kondor, R., & Trivedi, S. On the Generalization of Equivariance and Convolution in Neural Networks to the Action of Compact Groups // Proceedings of the 35th International Conference on Machine Learning (ICML). — 2018. — С. 2747–2755.

Bronstein, M. M., Bruna, J., Cohen, T., & Veličković, P. Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges // arXiv preprint. — 2021.

Lim, L.-H., & Nelson, B. J. What is an equivariant neural network? // Notices of the American Mathematical Society. — 2023. — Т. 70. — № 4. — С. 619–623.

Gasteiger, J., Becker, F., & Günnemann, S. GemNet: Universal Directional Graph Neural Networks for Molecules // Advances in Neural Information Processing Systems (NeurIPS). — 2021.

Villar, S., Hogg, D. W., Storey-Fisher, K., Yao, W., & Blum-Smith, B. Scalars are universal: Equivariant machine learning, structured like classical physics // Advances in Neural Information Processing Systems (NeurIPS). — 2021.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%AD%D0%BA%D0%B2%D0%B8%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82%D0%BD%D1%8B%D0%B5_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8»

Категории: Машинное обучение | Нейронные сети | Глубокое обучение