Нейронный коллапс

Материал из MachineLearning.

Статья написана с использованием LLM GPT-5.6 Sol и проверена участником Kirill Solovev 14:05, 19 июля 2026 (MSD)

Содержание

1 Основная идея
2 Геометрический пример с тремя классами
3 Математическое описание
4 Почему может возникать нейронный коллапс
5 Измерение на практике
6 Связь с обобщающей способностью
7 Несбалансированные данные и коллапс меньшинства
8 Практическое значение
9 Ограничения понятия
10 См. также
11 Литература

Нейронный коллапс (англ. neural collapse) — наблюдаемая у некоторых глубоких многоклассовых классификаторов геометрическая структура признаковых представлений и параметров последнего слоя. Она возникает преимущественно на позднем этапе обучения, когда ошибка классификации на обучающей выборке уже стала нулевой, но функция потерь продолжает уменьшаться.

При нейронном коллапсе признаки объектов одного класса сближаются со средним признаком этого класса, средние разных классов образуют симметричную конфигурацию, а веса последнего линейного классификатора выравниваются вдоль тех же направлений. В результате решение сети приближается к правилу ближайшего центра класса.

Термин был введён Варданом Папяном, Сюй Юань Ханом и Дэвидом Донохо в опубликованной в 2020 году работе. Авторы выделили четыре взаимосвязанных свойства, обозначаемых NC1—NC4.

Нейронный коллапс не означает, что признаки всех объектов становятся одинаковыми. Сближаются признаки объектов внутри каждого класса, тогда как центры разных классов остаются разделёнными и стремятся расположиться максимально симметрично.

Основная идея

Нейронная сеть последовательно преобразует исходный объект в набор внутренних признаков. Например, изображение может быть представлено не отдельными пикселями, а числовым вектором, описывающим свойства, полезные для классификации.

На раннем этапе обучения представления объектов одного класса обычно занимают некоторую область пространства и могут пересекаться с представлениями других классов. По мере обучения классы становятся более различимыми.

После достижения нулевой ошибки все обучающие объекты уже классифицируются правильно. Тем не менее сеть может продолжать уменьшать функцию потерь, делая правильные ответы более уверенными. На этом позднем этапе облака признаков отдельных классов могут сжиматься, а расстояния между классами — становиться более упорядоченными.

В предельном случае каждый класс представляется почти одной точкой-прототипом, а прототипы разных классов располагаются симметрично. Именно эта совокупность изменений называется нейронным коллапсом.

Геометрический пример с тремя классами

Рассмотрим простую задачу с тремя классами: «круг», «треугольник» и «квадрат». Предположим, что предпоследний слой сети описывает каждый объект двумя числами. Поэтому признаки можно изобразить точками на плоскости.

В начале обучения точки трёх классов образуют три размытых облака. Объекты одного класса расположены близко друг к другу не всегда, а некоторые области разных классов могут пересекаться.

На позднем этапе обучения возможна следующая картина:

все точки класса «круг» собираются около одного центра;
все точки класса «треугольник» собираются около второго центра;
все точки класса «квадрат» собираются около третьего центра;
три центра располагаются в вершинах равностороннего треугольника;
веса последнего классификатора направлены от общего центра к соответствующим вершинам;
новый объект относят к классу того центра, к которому его признак расположен ближе всего.

Этот пример непосредственно иллюстрирует четыре свойства нейронного коллапса.

Свойство	Геометрический смысл в примере
NC1	Каждое из трёх облаков сжимается около своего центра. Различия между признаками объектов одного класса становятся малы.
NC2	Три центра классов располагаются в вершинах равностороннего треугольника. Расстояния между всеми парами центров становятся одинаковыми.
NC3	Три вектора весов последнего классификатора направляются в те же стороны, что и векторы от общего центра к центрам классов.
NC4	Решение сети совпадает с выбором ближайшего из трёх центров. Границы между классами проходят по серединным перпендикулярам к сторонам треугольника.

Важно различать углы треугольника и углы между векторами центров. Внутренние углы равностороннего треугольника равны 60 градусам, а три вектора, проведённые из центра треугольника к его вершинам, образуют попарные углы 120 градусов.

Пример с тремя классами помогает представить геометрию нейронного коллапса, но не заменяет его математическое определение. В реальных сетях пространство признаков обычно имеет значительно больше двух измерений, а свойства NC1—NC4 выполняются лишь приближённо.

Математическое описание

Постановка задачи

Рассмотрим нейронную сеть, решающую задачу классификации на $C$ классов. Пусть $h_\theta(x)\in{\mathbb R}^p$ — вектор признаков объекта $x$ , вычисляемый предпоследним слоем сети. Последний линейный слой вычисляет логиты

$z_c(x)=w_c^T h_\theta(x)+b_c,\qquad c=1,\ldots,C.$

Здесь $w_c$ и $b_c$ — вес и смещение, соответствующие классу $c$ . Предсказанием сети является класс с наибольшим логитом.

При обучении с помощью перекрёстной энтропии минимизируется функция

${\cal L}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp z_{y_i}(x_i)}{\sum_{c=1}^{C}\exp z_c(x_i)},$

где $y_i$ — правильный класс объекта $x_i$ .

Нулевая ошибка классификации означает, что правильный логит больше всех остальных:

$z_{y_i}(x_i)>\max_{c\ne y_i}z_c(x_i).$

Однако соответствующая вероятность правильного класса при этом может оставаться меньше единицы. Поэтому перекрёстная энтропия способна уменьшаться и после достижения нулевой ошибки. Для этого сеть увеличивает отступы

$m_i=z_{y_i}(x_i)-\max_{c\ne y_i}z_c(x_i).$

Период обучения после достижения нулевой ошибки получил название терминальной фазы обучения (terminal phase of training). Именно в этой фазе первоначально наблюдалось постепенное формирование геометрии нейронного коллапса.

Средние признаки и ковариационные матрицы

Для простоты рассмотрим сбалансированную выборку, содержащую по $n$ объектов каждого класса. Обозначим признак $i$ -го объекта класса $c$ через $h_{c,i}$ . Средний признак класса имеет вид

$\mu_c=\frac{1}{n}\sum_{i=1}^{n}h_{c,i}.$

Общее среднее по классам определяется формулой

$\mu_G=\frac{1}{C}\sum_{c=1}^{C}\mu_c.$

Центрированный средний признак класса равен

$\widetilde\mu_c=\mu_c-\mu_G.$

Центрирование необходимо, поскольку геометрия взаимного расположения классов не должна зависеть от общего переноса всех признаков в пространстве.

Внутриклассовая и межклассовая ковариационные матрицы определяются как

$\Sigma_W=\frac{1}{Cn}\sum_{c=1}^{C}\sum_{i=1}^{n}(h_{c,i}-\mu_c)(h_{c,i}-\mu_c)^T,$

$\Sigma_B=\frac{1}{C}\sum_{c=1}^{C}\widetilde\mu_c\widetilde\mu_c^T.$

Матрица $\Sigma_W$ характеризует разброс объектов около центров своих классов, а $\Sigma_B$ — разброс самих центров классов.

NC1: исчезновение внутриклассовой изменчивости

Первое свойство состоит в том, что признаки обучающих объектов одного класса приближаются к общему центру:

$h_{c,i}\to\mu_c.$

Иными словами, сеть постепенно перестаёт различать объекты одного класса в пространстве признаков последнего скрытого слоя. Их индивидуальные особенности становятся малы по сравнению с различиями между классами.

Для количественного измерения NC1 часто используется величина

${\rm NC1}=\frac{1}{C}{\rm tr}(\Sigma_W\Sigma_B^\dagger),$

где $\Sigma_B^\dagger$ — псевдообратная матрица, а ${\rm tr}$ — след матрицы. При развитии нейронного коллапса эта величина стремится к нулю. Использование относительного показателя важно: абсолютный внутриклассовый разброс может изменяться вместе с общим масштабом признаков.

NC1 не утверждает, что исходные объекты одного класса одинаковы. Оно описывает только их представления на выбранном внутреннем слое обученной сети.

NC2: симплексная геометрия центров классов

После вычитания общего среднего центры классов стремятся иметь одинаковую норму и одинаковые попарные углы:

$\|\widetilde\mu_c\|\to\rho,\qquad \frac{\langle\widetilde\mu_c,\widetilde\mu_d\rangle}{\|\widetilde\mu_c\|\|\widetilde\mu_d\|}\to-\frac{1}{C-1},\qquad c\ne d.$

Такая конфигурация называется симплексным равноугольным жёстким фреймом (simplex equiangular tight frame, simplex ETF). Геометрически центры классов располагаются в вершинах правильного симплекса.

Например, для трёх классов их центры образуют равносторонний треугольник, а для четырёх классов — правильный тетраэдр. Для $C$ классов соответствующий симплекс имеет размерность $C-1$ .

Если составить центрированные средние признаки в матрицу

$\widetilde M=[\widetilde\mu_1,\ldots,\widetilde\mu_C],$

то идеальная симплексная структура выражается через матрицу Грама:

$\widetilde M^T\widetilde M=\rho^2\frac{C}{C-1}\left(I_C-\frac{1}{C}{\bf 1}{\bf 1}^T\right).$

Такая конфигурация обеспечивает максимально симметричное разделение классов при фиксированных нормах. Для её точной реализации требуется, чтобы размерность пространства признаков была не меньше $C-1$ .

NC3: самодвойственность

Третье свойство состоит в выравнивании весов последнего классификатора с центрированными средними признаками соответствующих классов:

$\left\|\frac{w_c}{\|w_c\|}-\frac{\widetilde\mu_c}{\|\widetilde\mu_c\|}\right\|\to0.$

Это свойство называют самодвойственностью (self-duality). Направление, в котором сеть помещает признаки класса, одновременно становится направлением, используемым линейным классификатором для распознавания этого класса.

При полном нейронном коллапсе нормированные веса классификатора образуют тот же правильный симплекс, что и центры классов. Масштабы весов и признаков при этом могут различаться.

NC4: переход к правилу ближайшего центра

Если выполняются NC1—NC3 и смещения последнего слоя согласованы с симметрией классов, решение линейного классификатора становится эквивалентно выбору ближайшего центра:

$\operatorname{\rm arg\,max}_{c}z_c(h)=\operatorname{\rm arg\,min}_{c}\|h-\mu_c\|^2.$

Таким образом, сложная обученная сеть в последнем пространстве признаков действует подобно простому классификатору ближайшего центра класса. Нелинейные слои сети выполняют основную работу: они преобразуют исходные данные так, чтобы объекты каждого класса оказались около соответствующего прототипа.

NC4 относится к правилу принятия решения после построения признаков. Оно не означает, что всю нейронную сеть можно заменить вычислением расстояний между исходными объектами.

Точный вид примера с тремя классами

Геометрический пример с тремя классами можно записать точно. После центрирования выберем центры классов в виде

$\widetilde\mu_1=\rho(1,0)^T,$

$\widetilde\mu_2=\rho\left(-\frac{1}{2},\frac{\sqrt{3}}{2}\right)^T,$

$\widetilde\mu_3=\rho\left(-\frac{1}{2},-\frac{\sqrt{3}}{2}\right)^T.$

Их сумма равна нулю:

$\widetilde\mu_1+\widetilde\mu_2+\widetilde\mu_3=0.$

Все три вектора имеют одинаковую норму:

$\|\widetilde\mu_1\|=\|\widetilde\mu_2\|=\|\widetilde\mu_3\|=\rho.$

Косинус угла между любой парой различных векторов равен

$\frac{\langle\widetilde\mu_c,\widetilde\mu_d\rangle}{\|\widetilde\mu_c\|\|\widetilde\mu_d\|}=-\frac{1}{2},\qquad c\ne d.$

Следовательно, угол между векторами равен 120 градусам. Это частный случай общей формулы NC2, поскольку при $C=3$ выполняется

$-\frac{1}{C-1}=-\frac{1}{2}.$

NC1 в этом примере означает, что $h_{c,i}$ приближается к соответствующему $\mu_c$ . NC3 означает, что направление $w_c$ приближается к направлению $\widetilde\mu_c$ . NC4 означает, что классификация точки определяется ближайшей из трёх вершин равностороннего треугольника.

Почему может возникать нейронный коллапс

Максимизация отступа

После правильной классификации всех обучающих объектов перекрёстная энтропия продолжает поощрять увеличение разности между правильным и неправильными логитами. Для признака объекта класса $c$ соответствующий отступ можно записать как

$q_{c,i}=w_c^T h_{c,i}-\max_{d\ne c}w_d^T h_{c,i}.$

При ограниченном масштабе весов и признаков наибольший общий отступ достигается, когда классы хорошо разделены. В сбалансированном случае симплексная конфигурация является естественным симметричным способом увеличить углы между направлениями классов.

Этот аргумент объясняет связь нейронного коллапса с максимизацией отступа, но сам по себе не является доказательством его возникновения в произвольной глубокой сети.

Модель свободных признаков

Большая часть теоретических результатов получена для модели свободных признаков (unconstrained features model) или близкой к ней модели отделённого последнего слоя (layer-peeled model). В ней признаки обучающих объектов рассматриваются как независимые оптимизируемые переменные, а нижние слои сети явно не моделируются.

Одна из регуляризованных постановок имеет вид

$\min_{W,H}\;{\cal L}_{CE}(W,H)+\frac{\lambda_W}{2}\left\|W\right\|_F^2+\frac{\lambda_H}{2}\left\|H\right\|_F^2,$

где $H$ — матрица признаков всех обучающих объектов, $W$ — матрица весов классификатора, а $\left\|\cdot\right\|_F$ — норма Фробениуса.

Для сбалансированной выборки в ряде таких моделей было доказано, что глобальные минимумы обладают геометрией нейронного коллапса. В работе Чжихуэя Чжу и соавторов для регуляризованной перекрёстной энтропии было показано, что глобальные минимумы упрощённой модели соответствуют симплексным фреймам, а остальные критические точки являются строгими седловыми точками.

Венлон Цзи и соавторы исследовали нерегуляризованную модель и связали направление градиентного потока с задачей разделения минимальной нормы. Это позволило объяснить возникновение симплексной геометрии как результат неявного смещения градиентной оптимизации.

Такие результаты дают математическое объяснение NC1—NC4, но не являются полным доказательством нейронного коллапса для произвольной архитектуры. Предположение о свободных признаках исключает устройство нижних слоёв, геометрию исходных данных и ограничения, накладываемые конкретной нейронной сетью.

Другие функции потерь

Нейронный коллапс первоначально изучался для перекрёстной энтропии. Позднее сходные свойства были обнаружены при обучении с среднеквадратичной ошибкой. Хан, Папян и Донохо исследовали динамику такой модели около так называемого центрального пути и показали возникновение NC1—NC4 в соответствующей теоретической постановке.

Следовательно, явление не сводится исключительно к одной функции потерь. Однако скорость и степень коллапса могут зависеть от функции потерь, регуляризации и процедуры оптимизации.

Измерение на практике

Нейронный коллапс является предельным описанием. В реальном эксперименте проверяют не точное равенство, а изменение нескольких показателей во времени:

для NC1 измеряют внутриклассовый разброс относительно межклассового;
для NC2 сравнивают нормы центров классов и их попарные косинусы с теоретическим значением $-1/(C-1)$ ;
для NC3 вычисляют косинус угла между весом классификатора и центрированным средним признаком класса;
для NC4 сравнивают предсказания исходного последнего слоя с предсказаниями классификатора ближайшего центра.

Для корректного анализа необходимо использовать признаки одного и того же слоя, одинаковый способ центрирования и фиксированный набор объектов. Отдельно исследуют обучающую и тестовую выборки: сильный коллапс обучающих признаков не гарантирует такого же поведения на новых данных.

Связь с обобщающей способностью

Нейронный коллапс часто связывают с хорошим разделением классов. Малый внутриклассовый разброс и большие расстояния между центрами могут делать классификатор устойчивым к небольшим изменениям признаков. Исходные эксперименты также показали, что некоторые показатели устойчивости продолжали улучшаться после достижения нулевой обучающей ошибки.

Однако нейронный коллапс сам по себе не является теоремой об обобщающей способности. Его стандартные показатели вычисляются по обучающим представлениям и не определяют, куда сеть отобразит ранее не встречавшийся объект. Для успешного распознавания необходимо, чтобы новые объекты также попадали в окрестности правильных центров.

Из NC1—NC4 также не следует отсутствие переобучения. Сеть может создать компактные признаки для обучающих объектов, опираясь на нерелевантные закономерности данных. Поэтому степень коллапса следует рассматривать вместе с тестовой ошибкой, калибровкой вероятностей и устойчивостью к изменению распределения.

Сильное сжатие внутриклассовой информации может быть полезно для конкретной задачи классификации, но не всегда желательно для переноса обучения. Различия между объектами одного исходного класса могут оказаться важными для новой задачи.

Несбалансированные данные и коллапс меньшинства

Классическая симплексная геометрия предполагает одинаковое число объектов во всех классах. При дисбалансе классов эта симметрия нарушается.

Фан Цун и соавторы предложили модель отделённого последнего слоя и обнаружили явление, названное коллапсом меньшинства (minority collapse). При сильном дисбалансе направления классификаторов редких классов могут сближаться, из-за чего эти классы становятся трудноразличимыми.

Более поздний анализ модели свободных признаков с перекрёстной энтропией показал, что при несбалансированных данных внутриклассовое сжатие может сохраняться, но углы между центрами начинают зависеть от размеров классов. Поэтому стандартные NC2 и NC3 в их симметричной форме обычно не выполняются. Для некоторых постановок были получены пороговые условия возникновения коллапса меньшинства.

Коллапс меньшинства следует отличать от обычного нейронного коллапса. В сбалансированном случае центры разных классов максимально разделяются, тогда как при коллапсе меньшинства представления редких классов, наоборот, становятся плохо различимыми.

Практическое значение

Исследование нейронного коллапса используется для анализа процесса обучения и устройства последних слоёв нейронных сетей. Возможные применения включают:

диагностику геометрии обученных признаков;
исследование влияния регуляризации и длительности обучения;
построение прототипных классификаторов;
использование заранее фиксированных симплексных весов последнего слоя;
анализ обучения на несбалансированных данных;
изучение устойчивости и переноса признаковых представлений.

В экспериментах с моделью свободных признаков фиксированный симплексный классификатор позволял уменьшить размер последнего представления и объём памяти без заметного ухудшения качества в рассмотренных авторами условиях. Этот результат не означает, что фиксированный классификатор всегда предпочтительнее обучаемого: его эффективность зависит от архитектуры, числа классов и свойств данных.

Ограничения понятия

При интерпретации нейронного коллапса необходимо учитывать следующие ограничения:

точный правильный симплекс возможен только при достаточной размерности пространства признаков;
классическая теория обычно предполагает сбалансированные классы;
на конечном числе итераций свойства NC1—NC4 выполняются лишь приближённо;
степень коллапса зависит от архитектуры, функции потерь, регуляризации, аугментаций и алгоритма оптимизации;
большинство теоретических доказательств относится к упрощённым моделям свободных признаков;
коллапс последнего представления не означает одинакового поведения всех скрытых слоёв;
геометрия обучающих признаков не даёт автоматической гарантии качества на новых данных;
полное исчезновение внутриклассовой изменчивости может быть нежелательно, если признаки предполагается использовать в других задачах.

Таким образом, нейронный коллапс представляет собой не универсальный закон обучения нейронных сетей, а важную и хорошо формализуемую предельную геометрию, возникающую в определённых режимах глубокой классификации.

См. также

Литература

Papyan V., Han X. Y., Donoho D. L. Prevalence of Neural Collapse during the Terminal Phase of Deep Learning Training // Proceedings of the National Academy of Sciences. — 2020. — Т. 117. — № 40. — С. 24652—24663.

Fang C., He H., Long Q., Su W. J. Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse in Imbalanced Training // Proceedings of the National Academy of Sciences. — 2021. — Т. 118. — № 43. — С. e2103091118.

Zhu Z., Ding T., Zhou J., Li X., You C., Sulam J., Qu Q. A Geometric Analysis of Neural Collapse with Unconstrained Features // Advances in Neural Information Processing Systems. — 2021. — Т. 34. — С. 29820—29834.

Ji W., Lu Y., Zhang Y., Deng Z., Su W. J. An Unconstrained Layer-Peeled Perspective on Neural Collapse // International Conference on Learning Representations. — 2022.

Han X. Y., Papyan V., Donoho D. L. Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path // International Conference on Learning Representations. — 2022.

Kothapalli V. Neural Collapse: A Review on Modelling Principles and Generalization // Transactions on Machine Learning Research. — 2023.

Hong W., Ling S. Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss with Imbalanced Data // Journal of Machine Learning Research. — 2024. — Т. 25. — № 192. — С. 1—48.

Goodfellow I., Bengio Y., Courville A. Deep Learning. — Cambridge, Massachusetts: MIT Press, 2016. — ISBN 978-0-262-03561-3

Data for “Prevalence of Neural Collapse during the Terminal Phase of Deep Learning Training”

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BA%D0%BE%D0%BB%D0%BB%D0%B0%D0%BF%D1%81»

Категории: Машинное обучение | Нейронные сети | Глубокое обучение | Классификация