Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''ChatGPT 5.6 Sol - xhigh''' и проверена участником [[Юхарев Роман Андреевич]] 19:11 14 июля 2026.}} {{TOCright}} '''L2-регуляризация''' — добавление к оптимизируемому критерию штрафа, пропорционального сумме квадратов параметров модели. Она ограничивает рост параметров, уменьшает чувствительность оценки к данным и в линейной регрессии приводит к [[Гребневая регрессия|гребневой регрессии]] (англ. ''ridge regression''). В задачах решения некорректно поставленных линейных систем тот же принцип известен как [[Регуляризация Тихонова|регуляризация Тихонова]].<ref name="tikhonov">Тихонов А. Н. [https://www.mathnet.ru/rus/dan/v153/i1/p49 О регуляризации некорректно поставленных задач] // Доклады АН СССР. 1963. Т. 153, № 1. С. 49–52.</ref><ref name="hoerl">Hoerl A. E., Kennard R. W. [https://www.stat.cmu.edu/technometrics/70-79/VOL-12-01/v1201055.pdf Ridge Regression: Biased Estimation for Nonorthogonal Problems] // ''Technometrics''. 1970. Vol. 12, No. 1. P. 55–67.</ref> Для нейронных сетей L2-штраф часто связывают с '''затуханием весов''' (англ. ''weight decay''). Эти процедуры дают одинаковое обновление при обычном градиентном спуске после согласования коэффициентов, но в общем случае не являются синонимами: при адаптивном масштабировании градиента, например в [[Adam]], добавление L2-штрафа к функции потерь отличается от отдельного уменьшения весов.<ref name="adamw">Loshchilov I., Hutter F. [https://openreview.net/forum?id=Bkg6RiCqY7 Decoupled Weight Decay Regularization] // ''International Conference on Learning Representations''. 2019.</ref> == Определение == Пусть <tex>\theta=(\theta_1,\ldots,\theta_p)</tex> — вектор параметров, а <tex>L(\theta;D)</tex> — функция потерь на обучающей выборке <tex>D</tex>. Регуляризованный критерий можно записать как :<tex>L_\lambda(\theta;D)=L(\theta;D)+\frac{\lambda}{2}\|\theta\|_2^2,\qquad \lambda\geq 0,</tex> где :<tex>\|\theta\|_2^2=\sum_{j=1}^{p}\theta_j^2.</tex> Коэффициент <tex>1/2</tex> вводят для удобства, поскольку :<tex>\nabla_\theta\frac{\lambda}{2}\|\theta\|_2^2=\lambda\theta.</tex> В литературе и программных библиотеках используются также штрафы <tex>\lambda\|\theta\|_2^2</tex>, <tex>\lambda\|\theta\|_2^2/n</tex> и другие нормировки. Поэтому численные значения параметра регуляризации нельзя переносить между реализациями, не проверив определение функции потерь, усреднение по объектам и наличие множителя <tex>1/2</tex>. Например, реализация Ridge в scikit-learn минимизирует <tex>\|y-Xw\|_2^2+\alpha\|w\|_2^2</tex>, а L2-регуляризатор Keras добавляет <tex>\lambda\sum_j w_j^2</tex> к функции потерь.<ref name="skridge">[https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Ridge.html Ridge] // scikit-learn documentation.</ref><ref name="kerasl2">[https://keras.io/api/layers/regularizers/ Layer weight regularizers] // Keras documentation.</ref> L2-регуляризация имеет две эквивалентные формы. Штрафная задача :<tex>\min_\theta\left\{L(\theta;D)+\frac{\lambda}{2}\|\theta\|_2^2\right\}</tex> при подходящем соответствии между <tex>\lambda</tex> и <tex>c</tex> связана с задачей с ограничением :<tex>\min_\theta L(\theta;D),\qquad \|\theta\|_2^2\leq c.</tex> Точное соответствие требует стандартных условий двойственности и может быть неоднозначным, если решение не единственно. Геометрически допустимая область во второй задаче является евклидовым шаром. == Гребневая регрессия == === Замкнутое решение === Для матрицы признаков <tex>X\in\mathbb R^{n\times p}</tex>, вектора ответов <tex>y\in\mathbb R^n</tex> и линейной модели <tex>Xw</tex> рассмотрим критерий :<tex>J(w)=\frac{1}{2}\|y-Xw\|_2^2+\frac{\lambda}{2}\|w\|_2^2.</tex> Условие стационарности имеет вид :<tex>(X^{\mathsf T}X+\lambda I)w=X^{\mathsf T}y.</tex> При <tex>\lambda>0</tex> матрица <tex>X^{\mathsf T}X+\lambda I</tex> положительно определена, поэтому решение единственно: :<tex>\hat w_\lambda=(X^{\mathsf T}X+\lambda I)^{-1}X^{\mathsf T}y.</tex> На практике обратную матрицу явно обычно не вычисляют: линейную систему решают с помощью разложения Холецкого, QR-разложения, сингулярного разложения или итерационного метода. Свободный член, как правило, не штрафуют; этого можно добиться центрированием <tex>X</tex> и <tex>y</tex> либо отдельным исключением параметра сдвига из штрафа. === Спектральная интерпретация === Пусть сингулярное разложение матрицы признаков имеет вид :<tex>X=U\,\mathrm{diag}(s_1,\ldots,s_r)V^{\mathsf T}.</tex> Тогда :<tex>\hat w_\lambda=V\,\mathrm{diag}\left(\frac{s_i}{s_i^2+\lambda}\right)U^{\mathsf T}y.</tex> В предсказаниях компонента вдоль <tex>i</tex>-го левого сингулярного вектора умножается на коэффициент :<tex>h_i(\lambda)=\frac{s_i^2}{s_i^2+\lambda}.</tex> Направления с малыми <tex>s_i</tex>, которые хуже определяются данными и сильнее усиливают шум в обычном методе наименьших квадратов, подавляются сильнее. Добавление <tex>\lambda I</tex> также улучшает обусловленность нормальных уравнений: :<tex>\kappa(X^{\mathsf T}X+\lambda I)=\frac{s_{\max}^2+\lambda}{s_{\min}^2+\lambda}</tex> для полного столбцового ранга. Если ранг неполный, в знаменателе появляется <tex>\lambda</tex>. === Смещение и дисперсия === В линейной модели <tex>y=Xw_*+\varepsilon</tex> гребневая оценка при <tex>\lambda>0</tex> обычно смещена: :<tex>\mathbb E[\hat w_\lambda\mid X]=(X^{\mathsf T}X+\lambda I)^{-1}X^{\mathsf T}Xw_*.</tex> Взамен уменьшается дисперсия оценки, особенно в почти коллинеарных направлениях. Поэтому средняя квадратичная ошибка параметров или предсказаний может быть меньше, чем у несмещённой оценки наименьших квадратов.<ref name="hoerl" /> Это пример компромисса между смещением и дисперсией; само по себе уменьшение нормы параметров не гарантирует улучшения качества на любой выборке. Эффективное число степеней свободы линейного сглаживателя можно определить как :<tex>\mathrm{df}(\lambda)=\mathrm{tr}\left(X(X^{\mathsf T}X+\lambda I)^{-1}X^{\mathsf T}\right)=\sum_{i=1}^{r}\frac{s_i^2}{s_i^2+\lambda}.</tex> Оно непрерывно уменьшается при росте <tex>\lambda</tex>, хотя число ненулевых коэффициентов обычно остаётся прежним. == Затухание весов == Пусть <tex>g_t=\nabla L(w_t)</tex>, а <tex>\eta_t</tex> — скорость обучения. Один шаг обычного градиентного спуска по критерию с L2-штрафом равен :<tex>w_{t+1}=w_t-\eta_t(g_t+\lambda w_t)=(1-\eta_t\lambda)w_t-\eta_t g_t.</tex> То есть перед или после шага по исходной функции потерь веса умножаются на коэффициент, близкий к единице. Для обычного [[Стохастический градиентный спуск|SGD]] это и есть эквивалентность L2-регуляризации и multiplicative weight decay после согласования <tex>\lambda</tex>, скорости обучения и принятой нормировки. В адаптивном методе шаг можно условно представить как :<tex>w_{t+1}=w_t-\eta_t P_t(g_t+\lambda w_t),</tex> где диагональная матрица <tex>P_t</tex> зависит от истории градиентов. Здесь регуляризующий градиент <tex>\lambda w_t</tex> также масштабируется координатно. При '''развязанном затухании весов''' используется другое обновление: :<tex>w_{t+1}=(1-\eta_t\lambda)w_t-\eta_t P_t g_t.</tex> Именно этот принцип лежит в основе AdamW.<ref name="adamw" /> Различие существенно: одинаковое имя параметра <code>weight_decay</code> не гарантирует одинакового алгоритма. Следует проверять документацию оптимизатора и выяснять, добавляется ли штраф к функции потерь либо затухание применяется отдельным шагом. Эквивалентность может нарушаться и при дополнительных преобразованиях обновления: координатном предобусловливании, некоторых вариантах импульса, ограничениях параметров или ручном изменении весов. Поэтому безопаснее различать: * '''L2-штраф''' — член <tex>\lambda\|w\|_2^2/2</tex> в целевой функции; * '''weight decay''' — явно заданное уменьшение параметров в правиле оптимизации; * '''AdamW''' — адаптивный оптимизатор с развязанным затуханием весов. == Байесовская интерпретация == Рассмотрим линейную регрессию с гауссовским шумом :<tex>y\mid X,w\sim\mathcal N(Xw,\sigma^2 I)</tex> и изотропным гауссовским априорным распределением параметров :<tex>w\sim\mathcal N(0,\tau^2 I).</tex> Отрицательный логарифм апостериорной плотности с точностью до не зависящей от <tex>w</tex> константы равен :<tex>-\log p(w\mid X,y)=\frac{1}{2\sigma^2}\|y-Xw\|_2^2+\frac{1}{2\tau^2}\|w\|_2^2+\mathrm{const}.</tex> Следовательно, оценка максимума апостериорной плотности (MAP) совпадает с гребневой оценкой, если отношение коэффициентов согласовано, например <tex>\lambda=\sigma^2/\tau^2</tex> для критерия без деления ошибки на <tex>n</tex>. Меньшая априорная дисперсия означает более сильное стягивание параметров к нулю. Эта интерпретация имеет границы. L2-регуляризированная оптимизация выдаёт точечную MAP-оценку, а не полное апостериорное распределение и не байесовское усреднение предсказаний. Значение <tex>\lambda</tex>, выбранное кросс-валидацией, также не обязано буквально быть отношением известных дисперсий. Кроме того, независимый гауссовский prior в пространстве весов может задавать нетривиальное и зависящее от параметризации распределение функций нейронной сети. Неизотропная гауссовская априорная плотность приводит к обобщённой регуляризации Тихонова. Если <tex>w\sim\mathcal N(w_0,\Sigma_0)</tex>, то штраф имеет вид :<tex>\frac{1}{2}(w-w_0)^{\mathsf T}\Sigma_0^{-1}(w-w_0).</tex> Он позволяет по-разному штрафовать направления и стягивать параметры не обязательно к нулю. == Отличие от L1- и L0-регуляризации == {| class="wikitable" ! Свойство ! L2 ! L1 ! L0 |- | Штраф | <tex>\lambda\sum_j\theta_j^2</tex> | <tex>\lambda\sum_j|\theta_j|</tex> | <tex>\lambda\sum_j\mathbf 1[\theta_j\ne 0]</tex> |- | Поведение коэффициентов | Плавно стягивает к нулю; точные нули нетипичны | Часто даёт точные нули | Непосредственно ограничивает число ненулевых коэффициентов |- | Гладкость | Гладкий выпуклый штраф | Выпуклый, но негладкий в нуле | Дискретный и невыпуклый |- | Типичная вычислительная задача | Гладкая оптимизация; у ridge есть замкнутое решение | Проксимальные и координатные методы | Комбинаторный выбор подмножества |- | Простейшая MAP-интерпретация | Гауссовское априорное распределение | Лапласовское априорное распределение | Априорная модель выбора включённых признаков |} L1-регуляризация лежит в основе [[Лассо|лассо]] и одновременно выполняет стягивание и отбор признаков.<ref name="lasso">Tibshirani R. [https://rss.onlinelibrary.wiley.com/doi/10.1111/j.2517-6161.1996.tb02080.x Regression Shrinkage and Selection via the Lasso] // ''Journal of the Royal Statistical Society: Series B''. 1996. Vol. 58, No. 1. P. 267–288.</ref> L2-регуляризация, напротив, обычно распределяет вес между коррелированными признаками и сохраняет их коэффициенты ненулевыми. Обозначение <tex>\|\theta\|_0</tex> традиционно используют для числа ненулевых компонент, хотя математической нормой эта величина не является. Точное решение задачи разреженного приближения с L0-критерием в общем случае вычислительно трудно; для одной из стандартных постановок доказана NP-трудность.<ref name="natarajan">Natarajan B. K. [https://epubs.siam.org/doi/10.1137/S0097539792240406 Sparse Approximate Solutions to Linear Systems] // ''SIAM Journal on Computing''. 1995. Vol. 24, No. 2. P. 227–234.</ref> Существуют смешанные штрафы. Например, [[Elastic net|elastic net]] объединяет L1- и L2-члены, сочетая разреженность с более устойчивым поведением при коррелированных признаках. == Нейронные сети == В нейронной сети L2-штраф часто применяют к матрицам весов, но не ко всем обучаемым величинам. Свободные члены, параметры сдвига и масштаба нормализационных слоёв, а иногда и эмбеддинги помещают в отдельные группы параметров. Причины зависят от архитектуры: штрафование сдвига может быть нежелательно, а в слоях с нормализацией масштаб некоторых весов не меняет вычисляемую функцию и влияет главным образом на динамику оптимизации. Для многослойной модели малая сумма квадратов весов не равна напрямую малой сложности функции. У положительно однородных активаций масштаб одного слоя можно увеличить, а следующего уменьшить, почти не изменив предсказание. Поэтому L2-регуляризация задаёт предпочтение в конкретной параметризации, а её действие складывается с архитектурой, нормализацией, аугментацией данных, размером пакета, расписанием скорости обучения и ранней остановкой. Практически важно различать два эффекта: * изменение оптимизируемого критерия и предпочтение параметров меньшей нормы; * изменение траектории оптимизации и эффективной длины шага. В глубоких моделях эти эффекты трудно полностью отделить. Даже при одинаковой конечной обучающей ошибке различные сочетания скорости обучения и weight decay могут приводить к разным решениям. == Выбор коэффициента == Коэффициент <tex>\lambda</tex> является гиперпараметром. Его выбирают по валидационной выборке или во внутреннем цикле [[Кросс-валидация|кросс-валидации]], не используя итоговую тестовую выборку. Обычно проверяют логарифмическую сетку, поскольку полезные значения могут отличаться на несколько порядков. Перед выбором <tex>\lambda</tex> следует зафиксировать соглашения: * суммируется или усредняется функция потерь по объектам; * присутствует ли множитель <tex>1/2</tex>; * какие группы параметров штрафуются; * используется L2-член в функции потерь или развязанный weight decay; * как меняется скорость обучения и умножается ли на неё коэффициент затухания. В линейных моделях признаки обычно стандартизуют. Без стандартизации один и тот же L2-штраф сильнее ограничивает коэффициент признака с меньшим численным масштабом, хотя его вклад в предсказание может быть сопоставим с вкладом другого признака. Предобработку требуется оценивать только на обучающей части каждого фолда, иначе возникает [[Утечка данных|утечка данных]]. При <tex>\lambda=0</tex> получается исходная нерегуляризованная задача. При <tex>\lambda\to\infty</tex> штрафуемые параметры стремятся к нулю, но свободный член или исключённые группы могут оставаться ненулевыми. Слишком большое значение приводит к недообучению, а слишком малое может не подавить нестабильные направления. == Типичные ошибки интерпретации == * '''«L2 всегда делает модель разреженной».''' В отличие от L1, гладкий квадратичный штраф обычно уменьшает коэффициенты, но не обращает их точно в ноль. * '''«Weight decay всегда равен L2-регуляризации».''' Равенство непосредственно выполняется для обычного градиентного шага после согласования коэффициентов; у адаптивных оптимизаторов L2 и развязанное затухание различаются.<ref name="adamw" /> * '''«Байесовская интерпретация даёт неопределённость модели».''' Обычная L2-оптимизация даёт MAP-точку; для оценки неопределённости нужно аппроксимировать или вычислять апостериорное распределение. * '''«Значение <tex>\lambda</tex> универсально».''' Оно зависит от масштаба признаков, нормировки потерь, размера выборки и определения регуляризатора в библиотеке. * '''«Все параметры нужно штрафовать одинаково».''' В архитектурах с нормализацией и неоднородными типами параметров часто используют отдельные группы и проверяют это решение экспериментально. * '''«Чем сильнее регуляризация, тем лучше обобщение».''' Чрезмерное стягивание увеличивает смещение и приводит к недообучению. == См. также == * [[Регуляризация]] * [[Гребневая регрессия]] * [[Лассо]] * [[Elastic net]] * [[Ранняя остановка]] * [[Переобучение]] * [[Стохастический градиентный спуск]] == Примечания == {{примечания}} == Литература == * Тихонов А. Н. О регуляризации некорректно поставленных задач // Доклады АН СССР. 1963. Т. 153, № 1. С. 49–52. * Hoerl A. E., Kennard R. W. Ridge Regression: Biased Estimation for Nonorthogonal Problems // ''Technometrics''. 1970. Vol. 12, No. 1. P. 55–67. * Hanson S. J., Pratt L. Y. [https://papers.nips.cc/paper/1988/hash/1c9ac0159c94d8d0cbedc973445af2da-Abstract.html Comparing Biases for Minimal Network Construction with Back-Propagation] // ''Advances in Neural Information Processing Systems 1''. 1989. P. 177–185. * Tibshirani R. Regression Shrinkage and Selection via the Lasso // ''Journal of the Royal Statistical Society: Series B''. 1996. Vol. 58, No. 1. P. 267–288. * Loshchilov I., Hutter F. Decoupled Weight Decay Regularization // ''International Conference on Learning Representations''. 2019. * Bishop C. M. ''Pattern Recognition and Machine Learning''. Springer, 2006. * Goodfellow I., Bengio Y., Courville A. ''Deep Learning''. MIT Press, 2016. Гл. 7. [[Категория:Машинное обучение]] [[Категория:Энциклопедия анализа данных]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Примечания

Возврат к странице L2-регуляризация.