Компромисс между смещением и разбросом

Материал из MachineLearning.

Версия от 18:59, 18 июля 2026; Denis Kistanov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья подготовлена с использованием модели OpenAI GPT‑5.6 Sol с уровнем рассуждений High и проверена участником Д.О. Кистанов 21:58, 18 июля 2026 (MSK)

Промпт приводится полностью в Обсуждение:Компромисс между смещением и разбросом

Содержание

1 История
2 Основная идея
3 Математические основы
4 Связь со сложностью модели
5 Примеры
6 Способы управления смещением и разбросом
7 Диагностика и выбор модели
8 Трудности и ограничения
9 Современные направления исследований
10 Применения
11 См. также
12 Примечания
13 Литература
14 Ссылки

Компромисс между смещением и разбросом (англ. bias–variance trade-off) — понятие математической статистики и машинного обучения, описывающее связь между двумя составляющими ошибки статистического алгоритма: систематическим отклонением его среднего предсказания от истинной зависимости (смещением) и чувствительностью предсказания к составу обучающей выборки (разбросом, или дисперсией). Для квадратичной функции потерь ожидаемая ошибка предсказания точно раскладывается на квадрат смещения, разброс и неустранимый шум.^[1]

Компромисс проявляется при выборе сложности модели, силы регуляризации, объёма данных и способа агрегирования моделей. Слишком жёсткие ограничения могут давать устойчивые, но систематически неточные предсказания; чрезмерно гибкий алгоритм способен хорошо подогнаться к конкретной выборке, но заметно изменяться при её замене. Минимизация только смещения или только разброса поэтому обычно не совпадает с минимизацией полного риска. При этом слово «компромисс» обозначает распространённую закономерность, а не универсальный закон: смещение и разброс не обязаны изменяться монотонно в противоположных направлениях.

История

Разложение средней квадратичной ошибки оценки на квадрат смещения и дисперсию является классическим результатом статистической теории оценивания. Существенным этапом в понимании полезности смещённых оценок стал результат Чарльза Стейна 1956 года: обычная оценка среднего многомерного нормального распределения оказалась недопустимой при квадратичной потере в размерности не менее трёх.^[1] Оценка Джеймса — Стейна затем дала конструктивный пример того, как внесение смещения посредством стягивания оценок может уменьшить суммарный квадратичный риск.^[1]

В 1970 году Артур Хёрл и Роберт Кеннард предложили гребневую регрессию как намеренно смещённое оценивание при неортогональных признаках и показали, что оно может иметь меньшую среднюю квадратичную ошибку, чем метод наименьших квадратов.^[1] В 1974 году Майкл Стоун сформулировал общий критерий кросс-валидационного выбора и оценки статистических предсказаний; этот подход стал одним из основных практических способов настройки сложности модели по ошибке вне обучающей выборки.^[1]

В машинном обучении терминология и интерпретация компромисса были систематизированы Стюартом Геманом, Эли Биненстоком и Рене Дурса в статье 1992 года о нейронных сетях. Авторы анализировали ошибку обобщения через смещение и разброс и подчёркивали роль объёма выборки и сложности модели.^[1] В 1990-х годах были предложены разложения для ошибки классификации ноль — один, в том числе разложение Рона Кохави и Дэвида Уолперта,^[1] а Педро Домингуш в 2000 году предложил единый язык для квадратичной потери и потери ноль — один.^[1]

Классическая U-образная картина была пересмотрена после обнаружения хорошей обобщающей способности интерполирующих и сильно перепараметризованных моделей. В 2019 году Михаил Белкин и соавторы описали двойной спуск ошибки: после пика около порога интерполяции тестовый риск может снова уменьшаться с ростом ёмкости модели.^[1] Это не отменило разложение ошибки, но показало ограниченность простой монотонной зависимости разброса от числа параметров.

Основная идея

Пусть один и тот же алгоритм многократно обучается на независимых выборках одинакового размера из одной генеральной совокупности. Для фиксированного объекта $x$ получаются, вообще говоря, разные предсказания. Их среднее характеризует систематическое поведение алгоритма, а рассеяние вокруг среднего — его чувствительность к данным.

Смещение велико, если среднее по возможным обучающим выборкам предсказание далеко от оптимального предсказания. Типичный источник — чрезмерно узкий класс моделей или слишком сильная регуляризация.
Разброс велик, если небольшое изменение обучающих данных заметно меняет предсказание. Типичные источники — малый объём выборки, высокая эффективная сложность и нестабильная процедура подгонки.
Неустранимая ошибка вызывается случайностью отклика при известных признаках. Ни выбор более сложной модели, ни повторное обучение не устраняют её без дополнительной информации.

Интуитивно модель с высоким смещением «ошибается одинаковым образом» на разных выборках, а модель с высоким разбросом «ошибается по-разному». Недообучение часто связано с большим смещением, а Переобучение — с большим разбросом, но эти соответствия не являются определениями: например, интерполирующая модель в некоторых высокоразмерных режимах может иметь малый тестовый риск.

Важно различать три понятия. Разложение смещения и разброса — математическое тождество при заданных условиях. Компромисс — наблюдаемая зависимость составляющих от настройки алгоритма. Выбор модели — практическая процедура минимизации оценки полного риска, а не отдельных слагаемых.

Математические основы

Постановка задачи

Пусть $(X,Y)$ имеет неизвестное совместное распределение, а обучающая выборка состоит из независимых одинаково распределённых наблюдений:

$D=((X_1,Y_1),\ldots,(X_n,Y_n)).$

Алгоритм обучения по выборке $D$ и, возможно, внутренней случайности $A$ строит функцию $\hat f_{D,A}$ . В задаче регрессии с квадратичной потерей оптимальное предсказание при известном $X=x$ равно условному математическому ожиданию

$f(x)={\rm E}(Y\mid X=x).$

Отклик можно представить в виде

$Y=f(X)+\varepsilon,\qquad {\rm E}(\varepsilon\mid X)=0,\qquad {\rm Var}(\varepsilon\mid X=x)=\sigma^2(x).$

Ожидание по всем возможным обучающим выборкам и внутренней случайности алгоритма обозначим

$\bar f(x)={\rm E}_{D,A}\hat f_{D,A}(x).$

Тогда поточечное смещение и разброс определяются как

${\rm Bias}(x)=\bar f(x)-f(x),$

${\rm Var}(x)={\rm E}_{D,A}(\hat f_{D,A}(x)-\bar f(x))^2.$

Здесь случайность тестового отклика считается независимой от обучающей выборки. Если алгоритм детерминирован, ожидание по $A$ не требуется; если используются случайная инициализация, подвыборки или стохастическая оптимизация, их вклад входит в разброс.

Разложение квадратичного риска

Для фиксированного $x$ ожидаемая ошибка на новом отклике имеет точное разложение

${\rm E}_{D,A,Y\mid x}(Y-\hat f_{D,A}(x))^2=\sigma^2(x)+{\rm Bias}^2(x)+{\rm Var}(x).$

Оно получается добавлением и вычитанием $f(x)$ и $\bar f(x)$ . Смешанные слагаемые исчезают, поскольку шум имеет нулевое условное среднее, а отклонение $\hat f_{D,A}(x)-\bar f(x)$ имеет нулевое среднее по обучению. После усреднения по распределению объектов:

${\rm E}_{D,A}R(\hat f_{D,A})={\rm E}_{X}\sigma^2(X)+{\rm E}_{X}{\rm Bias}^2(X)+{\rm E}_{X}{\rm Var}(X),$

где

$R(g)={\rm E}_{X,Y}(Y-g(X))^2.$

Первое слагаемое не зависит от алгоритма при фиксированном наборе признаков. Два остальных образуют ожидаемый избыточный риск относительно функции $f$ . Если наблюдаемые признаки неполны, часть вариативности, предсказуемая по ненаблюдаемым факторам, также попадает в условный шум.

Аналогичное тождество для векторной оценки параметра $\hat\theta$ и квадратичной евклидовой потери имеет вид

${\rm E}\|\hat\theta-\theta\|^2=\|{\rm E}\hat\theta-\theta\|^2+{\rm tr}({\rm Cov}(\hat\theta)).$

Смещение функции предсказания и смещение оценки параметра не всегда совпадают по практическому смыслу: разные параметры могут задавать одинаковые либо почти одинаковые предсказания.

Условный и безусловный разброс

Определение зависит от того, какие источники случайности усредняются. В регрессии со случайным планом разброс включает изменение как откликов $Y_i$ , так и признаков $X_i$ . При фиксированном плане признаки условно фиксируют, и рассматривают только случайность откликов и алгоритма. Эти величины могут существенно различаться.

Полезно также отличать:

разброс предсказания между обучающими выборками;
условную дисперсию будущего отклика $\sigma^2(x)$ ;
оценённую неопределённость конкретного предсказания после наблюдения одной выборки;
дисперсию ошибки оценки риска при кросс-валидации.

Все они измеряют разные случайные объекты и не являются взаимозаменяемыми.

Потери, отличные от квадратичной

Простая сумма «шум + квадрат смещения + разброс» опирается на геометрию квадратичной потери. Для абсолютной ошибки и ошибки классификации ноль — один такого тождества с теми же определениями нет. Для классификации предлагались альтернативные определения центрального классификатора, систематической ошибки и вариативности; разные разложения отвечают разным требованиям, а вклад вариативности в некоторых схемах может иметь знак.^[1] Поэтому численные значения «смещения» и «разброса» классификатора следует интерпретировать только вместе с конкретным определением.

Более широкий класс точных разложений связан с дивергенциями Брегмана, включающими квадратичную ошибку и, при соответствующей параметризации, логарифмическую потерю. При естественных требованиях непрерывности, неотрицательности и нулевой потери только при совпадении аргументов чистое разложение такого типа возможно именно для преобразованных дивергенций Брегмана; симметричный случай по существу сводится к квадрату евклидова расстояния.^[1]

Связь со сложностью модели

В классической картине рассматривают семейство алгоритмов, упорядоченное по эффективной сложности: степень полинома, глубина дерева, число соседей, ширина базиса или обратная сила регуляризации. При малой сложности класс функций может плохо приближать $f$ , что создаёт большое смещение. При росте сложности аппроксимация улучшается, но алгоритм получает больше возможностей реагировать на случайные особенности выборки, и разброс часто увеличивается. Сумма слагаемых тогда имеет U-образную зависимость и достигает минимума при промежуточной сложности.^[1]

Эта схема является эвристикой, а не следствием самого разложения. Сложность нельзя в общем случае отождествлять с числом параметров. На риск влияют геометрия признаков, спектр матрицы плана, алгоритм оптимизации, норма выбранного решения, регуляризация, объём и распределение данных. Более богатый класс гипотез содержит прежний класс, но процедура обучения в нём может выбирать решения совсем иного типа.

С ростом размера выборки $n$ разброс обычно уменьшается, а допустимую сложность можно увеличивать без потери устойчивости. В непараметрических методах параметр сглаживания часто зависит от $n$ : для состоятельности требуется одновременно уменьшать аппроксимационное смещение и контролировать дисперсию.

Примеры

Полиномиальная регрессия

Если нелинейную зависимость аппроксимировать полиномом малой степени, результат мало меняется при замене выборки, но может не воспроизводить форму зависимости. Полином высокой степени способен приблизить обучающие точки, однако между ними может сильно колебаться. Степень полинома управляет не только приближением, но и обусловленностью задачи; масштабирование признаков и регуляризация могут существенно изменить разброс при той же степени.

Гребневая регрессия

В линейной модели $y=X\beta+\varepsilon$ , где ${\rm E}\varepsilon=0$ и ${\rm Cov}(\varepsilon)=\sigma^2 I$ , гребневая оценка имеет вид

$\hat\beta_\lambda=(X^{T}X+\lambda I)^{-1}X^{T}y,\qquad \lambda>0.$

При фиксированной матрице $X$ её смещение равно

${\rm E}(\hat\beta_\lambda\mid X)-\beta=-\lambda(X^{T}X+\lambda I)^{-1}\beta,$

а ковариационная матрица равна

${\rm Cov}(\hat\beta_\lambda\mid X)=\sigma^2(X^{T}X+\lambda I)^{-1}X^{T}X(X^{T}X+\lambda I)^{-1}.$

Увеличение $\lambda$ стягивает коэффициенты к нулю: смещение обычно возрастает, зато дисперсия уменьшается, особенно вдоль плохо определённых направлений матрицы $X^{T}X$ . Оптимальное значение зависит от цели — риска предсказания, ошибки параметров или иной функции потерь — и обычно выбирается по данным.^[1]

Линейные сглаживатели

Для многих методов сглаживания предсказания в обучающих точках записываются как $\hat y=S_\lambda y$ . При фиксированном плане и гомоскедастичном шуме

${\rm E}(\hat y\mid X)-f=(S_\lambda-I)f,\qquad {\rm Cov}(\hat y\mid X)=\sigma^2 S_\lambda S_\lambda^{T}.$

Величину ${\rm tr}(S_\lambda)$ часто интерпретируют как эффективное число степеней свободы. Она позволяет сравнивать сложность методов, у которых формальное число параметров не отражает фактическую гибкость.^[1]

Усреднение моделей

Пусть $M$ базовых предсказаний имеют одинаковую дисперсию $\tau^2$ и одинаковую попарную корреляцию $\rho$ . Тогда дисперсия их среднего равна

${\rm Var}\left(\frac{1}{M}\sum_{m=1}^{M}\hat f_m(x)\right)=\rho\tau^2+\frac{1-\rho}{M}\tau^2.$

Усреднение особенно эффективно, когда базовые модели нестабильны, но их ошибки не полностью коррелированы. На этом основан бэггинг: модели обучают на бутстреп-выборках, а предсказания усредняют или объединяют голосованием. Лео Брейман показал его пользу прежде всего для нестабильных процедур, таких как деревья и выбор подмножеств признаков.^[1] Усреднение не гарантирует уменьшения смещения и мало помогает при почти одинаковых ошибках всех членов ансамбля.

Способы управления смещением и разбросом

Ограничение класса моделей

Глубина решающего дерева, число базисных функций, степень полинома, число отобранных признаков и размер окрестности задают эффективную гибкость. Обрезка дерева, увеличение числа соседей и усиление сглаживания обычно стабилизируют предсказание ценой более грубого приближения. Направление изменения полного риска необходимо проверять: один и тот же гиперпараметр может действовать по-разному в разных распределениях данных.

Явная и неявная регуляризация

Штрафы за норму параметров, гладкость или сложность решения уменьшают множество практически доступных моделей. Лассо сочетает стягивание с отбором признаков, гребневая регрессия непрерывно уменьшает коэффициенты, а регуляризация гладкости подавляет быстрые колебания функции. Ранняя остановка итерационного обучения, ограниченная точность оптимизации и архитектура модели могут создавать неявную регуляризацию: итог определяется не только множеством интерполирующих решений, но и тем, какое из них выбирает алгоритм.

Агрегирование и рандомизация

Бэггинг, случайные леса и ансамбли независимо инициализированных нейронных сетей уменьшают часть разброса усреднением. Рандомизация признаков в случайном лесу стремится снизить корреляцию деревьев, хотя может увеличить смещение отдельных деревьев. Бустинг последовательно исправляет ошибки базовых моделей и нередко уменьшает смещение; его поведение нельзя описать только как зеркальное отражение бэггинга.

Увеличение объёма и качества данных

Дополнительные независимые наблюдения обычно снижают выборочную вариативность без искусственного ограничения модели. Однако дубликаты, сильно зависимые наблюдения и некорректная аугментация не дают того же эффекта, что новые независимые данные. Исправление ошибок измерения, добавление информативных признаков и согласование распределений обучения и применения могут одновременно уменьшать смещение и разброс, поэтому здесь обязательного обмена одного на другое нет.

Априорная информация и совместное оценивание

Иерархические и байесовские модели стягивают слабо определённые оценки к общему уровню или априорному центру. Это может уменьшать частотный риск, как в оценивании Джеймса — Стейна, но результат зависит от уместности структуры стягивания. Байесовское апостериорное распределение условно на наблюдённой выборке не совпадает с частотным распределением оценок по повторным выборкам; поэтому апостериорную дисперсию нельзя автоматически называть компонентой разброса в классическом разложении.

Диагностика и выбор модели

В реальной задаче доступна одна выборка, тогда как определения смещения и разброса требуют повторения всего эксперимента. Поэтому обычно оценивают полный риск вне обучения, а компоненты используют как диагностическую модель.

Обучающая и проверочная ошибки

Малая обучающая ошибка при заметно большей проверочной ошибке служит признаком нестабильности или переобучения. Большие ошибки на обеих частях данных могут указывать на недостаточную выразительность, недостаток признаков, слишком сильную регуляризацию или неудачную оптимизацию. Разрыв ошибок сам по себе не является оценкой разброса: на него влияют шум, размер проверочной выборки и различие распределений.

Кривые обучения

Кривые обучения показывают обучающую и проверочную ошибку как функции размера выборки. Если проверочная ошибка продолжает снижаться с ростом $n$ , дополнительные данные, вероятно, полезны. Если обе кривые сходятся на высоком уровне, может потребоваться более содержательная модель или признаки. Выводы являются эвристическими и должны сопровождаться интервалами неопределённости и разбиением, соответствующим структуре данных.

Повторное переобучение и бутстреп

При $B$ повторных выборках или разбиениях можно вычислить предсказания $\hat f_1(x),\ldots,\hat f_B(x)$ и их эмпирический разброс:

$\hat V(x)=\frac{1}{B-1}\sum_{b=1}^{B}(\hat f_b(x)-\bar f_B(x))^2,\qquad \bar f_B(x)=\frac{1}{B}\sum_{b=1}^{B}\hat f_b(x).$

Это оценка вариативности относительно выбранной схемы ресэмплинга, а не прямое наблюдение популяционного ${\rm Var}(x)$ . Смещение оценить труднее, поскольку истинная функция $f(x)$ неизвестна. Его можно непосредственно изучать в симуляциях с известным механизмом данных, при повторных измерениях отклика в одной точке или в специально заданной параметрической модели.

Кросс-валидация и вложенная оценка

Кросс-валидация оценивает ошибку вне подвыборки и позволяет выбирать силу регуляризации или сложность.^[1] Если по тем же результатам одновременно выбрать лучшую настройку и сообщить её качество, минимум среди шумных оценок оказывается оптимистически смещённым. Для независимой оценки всей процедуры настройки применяют внешний тестовый набор или вложенную кросс-валидацию. Переобучение на критерии выбора модели может быть существенным даже при несмещённых оценках риска каждой фиксированной конфигурации.^[1]

Для временных, пространственных, группированных и иерархических данных случайное перемешивание наблюдений может привести к утечке информации. Схема проверки должна воспроизводить единицу независимого повторения и предполагаемый способ применения модели.

Трудности и ограничения

Неуниверсальность компромисса

Из равенства «риск = шум + квадрат смещения + разброс» не следует, что уменьшение одного слагаемого обязательно увеличивает другое. Улучшение признаков, рост выборки, более подходящее предположение о структуре данных или удачное усреднение способны уменьшить обе составляющие. Термин описывает ограничение внутри выбранного семейства алгоритмов и режима данных, а не запрет на одновременное улучшение.

Зависимость от целевой величины и распределения

Смещение определяется относительно конкретной функции $f(x)$ , распределения объектов, размера выборки и алгоритма. Модель может иметь малое интегральное смещение и большое смещение в редкой, но важной области. При сдвиге распределения разложение, оценённое на обучающей популяции, не описывает автоматически риск в новой популяции.

Зависимость от функции потерь

Разложение для квадратичной ошибки нельзя без изменений переносить на абсолютную ошибку, AUC, F-меру или потерю ноль — один.^[1] Кроме того, метрики, вычисляемые сразу по набору объектов, могут не представляться средним поточечных потерь. Практический выбор модели должен соответствовать реальной цене ошибок, даже если для этой потери нет удобного разложения.

Неоднозначность сложности

Число параметров не определяет эффективную ёмкость само по себе. Нормы весов, гладкость, запас классификации, спектр ядра, архитектурные симметрии и траектория оптимизации могут быть важнее. Поэтому сравнение моделей только по формальному числу коэффициентов способно дать ошибочную картину смещения и разброса.

Терминологические смешения

Статистическое смещение предсказателя не следует смешивать с несправедливостью данных или алгоритма по отношению к социальным группам. Эти явления могут взаимодействовать, но требуют разных определений и критериев. Аналогично, большой разброс не тождествен плохой калибровке вероятностей, а неустранимый шум не обязательно является физически неустранимым: он зависит от доступных признаков и уровня описания.

Современные направления исследований

Двойной спуск и интерполяция

В классическом маломерном режиме тестовая ошибка часто возрастает при приближении к интерполяции. В перепараметризованном режиме существует много решений с нулевой обучающей ошибкой, и алгоритм может выбрать среди них решение малой нормы или иной низкой эффективной сложности. Кривая риска тогда может иметь первый минимум, пик около порога интерполяции и второй участок спуска.^[1]

Для высокоразмерной линейной регрессии получены точные асимптотические описания риска безгребневого интерполирующего решения; они показывают зависимость двойного спуска от отношения числа параметров к числу наблюдений и от спектра ковариации признаков.^[1] Следовательно, рост параметризации после порога интерполяции не гарантирует улучшения: эффект требует условий на сигнал, шум, ковариационную структуру и правило выбора решения.

Благоприятное переобучение

Благоприятным переобучением (англ. benign overfitting) называют режим, в котором интерполятор точно подгоняет шумные обучающие данные, но сохраняет малый избыточный риск. Для линейной регрессии условия такого поведения выражаются через эффективные ранги и спектральный спад ковариации признаков.^[1] Понятие подчёркивает различие между нулевой обучающей ошибкой и плохой обобщающей способностью.

Разложение источников разброса

В глубоких моделях случайность возникает из выборки объектов, шума меток, начальных весов, мини-пакетов и других этапов алгоритма. Полная дисперсия скрывает взаимодействия между этими источниками. Для моделей случайных признаков были построены более детальные разложения, в которых отдельные компоненты могут немонотонно зависеть от ширины и резко возрастать около порога интерполяции.^[1] Анализ случайных признаков в режиме «ленивого» обучения также отделяет вклад выборки, шума меток и инициализации и исследует, как ансамбли подавляют отдельные компоненты.^[1]

Разложения для общих потерь

Современная теория уточняет, какие свойства потери позволяют определить центральное предсказание, неотрицательное смещение и неотрицательную вариативность так, чтобы они точно суммировались в ожидаемый риск. Характеризация через преобразованные дивергенции Брегмана объясняет, почему для логарифмической потери возможен естественный аналог, а для абсолютной и дискретной потерь неизбежны иные определения или остаточные члены.^[1] Это направление связывает компромисс с геометрией пространства предсказаний, а не только со сложностью моделей.

Применения

Компромисс между смещением и разбросом используется как принцип анализа и проектирования в следующих задачах:

выбор степени сглаживания в непараметрической регрессии и обработке сигналов;
настройка регуляризации в линейных моделях, ядровых методах и нейронных сетях;
выбор глубины и обрезка решающих деревьев;
определение числа соседей в методе ближайших соседей;
построение ансамблей и оценка пользы разнообразия базовых моделей;
планирование объёма выборки и анализ кривых обучения;
сравнение устойчивости алгоритмов при смене обучающих данных;
интерпретация интерполяции и перепараметризации в современных моделях.

В прикладной работе принцип не заменяет проверку на независимых данных. Он помогает сформулировать причину ошибки и выбрать вмешательство: усилить или ослабить регуляризацию, собрать данные, изменить признаки, стабилизировать обучение либо усреднить модели.

См. также

Примечания

Литература

Hastie, T.; Tibshirani, R.; Friedman, J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2-е изд.. — New York: Springer, 2009. — ISBN 978-0-387-84857-0
Geman, S.; Bienenstock, E.; Doursat, R. Neural Networks and the Bias/Variance Dilemma // Neural Computation. — 1992. — Т. 4. — № 1. — С. 1—58.
Domingos, P. A Unified Bias-Variance Decomposition for Zero-One and Squared Loss // Proceedings of the Seventeenth National Conference on Artificial Intelligence. — Menlo Park: AAAI Press, 2000. — С. 564—569.
Breiman, L. Bagging Predictors // Machine Learning. — 1996. — Т. 24. — № 2. — С. 123—140.
Belkin, M.; Hsu, D.; Ma, S.; Mandal, S. Reconciling Modern Machine-Learning Practice and the Classical Bias–Variance Trade-Off // Proceedings of the National Academy of Sciences. — 2019. — Т. 116. — № 32. — С. 15849—15854.
Bartlett, P. L.; Long, P. M.; Lugosi, G.; Tsigler, A. Benign Overfitting in Linear Regression // Proceedings of the National Academy of Sciences. — 2020. — Т. 117. — № 48. — С. 30063—30070.
Hastie, T.; Montanari, A.; Rosset, S.; Tibshirani, R. J. Surprises in High-Dimensional Ridgeless Least Squares Interpolation // The Annals of Statistics. — 2022. — Т. 50. — № 2. — С. 949—986.
Heskes, T. Bias-Variance Decompositions: The Exclusive Privilege of Bregman Divergences // Journal of Machine Learning Research. — 2025. — Т. 26. — № 279. — С. 1—30.

Ссылки

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D0%BC%D0%BF%D1%80%D0%BE%D0%BC%D0%B8%D1%81%D1%81_%D0%BC%D0%B5%D0%B6%D0%B4%D1%83_%D1%81%D0%BC%D0%B5%D1%89%D0%B5%D0%BD%D0%B8%D0%B5%D0%BC_%D0%B8_%D1%80%D0%B0%D0%B7%D0%B1%D1%80%D0%BE%D1%81%D0%BE%D0%BC»

Категории: Машинное обучение | Математическая статистика | Теория оценивания