Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья подготовлена с использованием модели [https://openai.com/index/gpt-5-6/ OpenAI GPT‑5.6 Sol] с уровнем рассуждений High и проверена участником [[Участник:Denis Kistanov|Д.О. Кистанов]] 21:58, 18 июля 2026 (MSK) Промпт приводится полностью в [[Обсуждение:Компромисс между смещением и разбросом]] }} {{TOCright}} '''Компромисс между смещением и разбросом''' (англ. bias–variance trade-off) — понятие [[Математическая статистика|математической статистики]] и [[Машинное обучение|машинного обучения]], описывающее связь между двумя составляющими ошибки статистического алгоритма: систематическим отклонением его среднего предсказания от истинной зависимости ('''смещением''') и чувствительностью предсказания к составу обучающей выборки ('''разбросом''', или дисперсией). Для квадратичной [[Функция потерь|функции потерь]] ожидаемая ошибка предсказания точно раскладывается на квадрат смещения, разброс и неустранимый шум.<ref name="hastie2009">{{книга |автор = Hastie, T.; Tibshirani, R.; Friedman, J. |заглавие = The Elements of Statistical Learning: Data Mining, Inference, and Prediction |издание = 2-е изд. |место = New York |издательство = Springer |год = 2009 |isbn = 978-0-387-84857-0 |ссылка = https://doi.org/10.1007/978-0-387-84858-7 }}</ref> Компромисс проявляется при выборе сложности модели, силы [[Регуляризация|регуляризации]], объёма данных и способа агрегирования моделей. Слишком жёсткие ограничения могут давать устойчивые, но систематически неточные предсказания; чрезмерно гибкий алгоритм способен хорошо подогнаться к конкретной выборке, но заметно изменяться при её замене. Минимизация только смещения или только разброса поэтому обычно не совпадает с минимизацией полного [[Риск (теория решений)|риска]]. При этом слово «компромисс» обозначает распространённую закономерность, а не универсальный закон: смещение и разброс не обязаны изменяться монотонно в противоположных направлениях. <div style="float:right; margin:0 0 1em 1em;">__TOC__</div> == История == Разложение средней квадратичной ошибки оценки на квадрат смещения и дисперсию является классическим результатом статистической [[Теория оценивания|теории оценивания]]. Существенным этапом в понимании полезности смещённых оценок стал результат Чарльза Стейна 1956 года: обычная оценка среднего многомерного нормального распределения оказалась недопустимой при квадратичной потере в размерности не менее трёх.<ref name="stein1956">{{статья |автор = Stein, C. |заглавие = Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution |издание = Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, Volume I |место = Berkeley |издательство = University of California Press |год = 1956 |страницы = 197—206 |ссылка = https://doi.org/10.1525/9780520313880-018 }}</ref> Оценка Джеймса — Стейна затем дала конструктивный пример того, как внесение смещения посредством стягивания оценок может уменьшить суммарный квадратичный риск.<ref name="jamesstein1961">{{статья |автор = James, W.; Stein, C. |заглавие = Estimation with Quadratic Loss |издание = Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability, Volume I |место = Berkeley |издательство = University of California Press |год = 1961 |страницы = 361—379 |ссылка = https://projecteuclid.org/euclid.bsmsp/1200512173 }}</ref> В 1970 году Артур Хёрл и Роберт Кеннард предложили [[Гребневая регрессия|гребневую регрессию]] как намеренно смещённое оценивание при неортогональных признаках и показали, что оно может иметь меньшую среднюю квадратичную ошибку, чем метод наименьших квадратов.<ref name="hoerl1970">{{статья |автор = Hoerl, A. E.; Kennard, R. W. |заглавие = Ridge Regression: Biased Estimation for Nonorthogonal Problems |издание = Technometrics |год = 1970 |том = 12 |номер = 1 |страницы = 55—67 |ссылка = https://doi.org/10.1080/00401706.1970.10488634 }}</ref> В 1974 году Майкл Стоун сформулировал общий критерий [[Кросс-валидация|кросс-валидационного]] выбора и оценки статистических предсказаний; этот подход стал одним из основных практических способов настройки сложности модели по ошибке вне обучающей выборки.<ref name="stone1974">{{статья |автор = Stone, M. |заглавие = Cross-Validatory Choice and Assessment of Statistical Predictions |издание = Journal of the Royal Statistical Society. Series B (Methodological) |год = 1974 |том = 36 |номер = 2 |страницы = 111—133 |ссылка = https://doi.org/10.1111/j.2517-6161.1974.tb00994.x }}</ref> В машинном обучении терминология и интерпретация компромисса были систематизированы Стюартом Геманом, Эли Биненстоком и Рене Дурса в статье 1992 года о нейронных сетях. Авторы анализировали ошибку обобщения через смещение и разброс и подчёркивали роль объёма выборки и сложности модели.<ref name="geman1992">{{статья |автор = Geman, S.; Bienenstock, E.; Doursat, R. |заглавие = Neural Networks and the Bias/Variance Dilemma |издание = Neural Computation |год = 1992 |том = 4 |номер = 1 |страницы = 1—58 |ссылка = https://doi.org/10.1162/neco.1992.4.1.1 }}</ref> В 1990-х годах были предложены разложения для ошибки классификации ноль — один, в том числе разложение Рона Кохави и Дэвида Уолперта,<ref name="kohavi1996">{{статья |автор = Kohavi, R.; Wolpert, D. H. |заглавие = Bias Plus Variance Decomposition for Zero-One Loss Functions |издание = Proceedings of the 13th International Conference on Machine Learning |место = San Francisco |издательство = Morgan Kaufmann |год = 1996 |страницы = 275—283 |ссылка = https://dblp.org/rec/conf/icml/KahaviW96 }}</ref> а Педро Домингуш в 2000 году предложил единый язык для квадратичной потери и потери ноль — один.<ref name="domingos2000">{{статья |автор = Domingos, P. |заглавие = A Unified Bias-Variance Decomposition for Zero-One and Squared Loss |издание = Proceedings of the Seventeenth National Conference on Artificial Intelligence |место = Menlo Park |издательство = AAAI Press |год = 2000 |страницы = 564—569 |ссылка = https://s.aaai.org/Library/AAAI/2000/aaai00-086.php }}</ref> Классическая U-образная картина была пересмотрена после обнаружения хорошей обобщающей способности интерполирующих и сильно перепараметризованных моделей. В 2019 году Михаил Белкин и соавторы описали '''двойной спуск''' ошибки: после пика около порога интерполяции тестовый риск может снова уменьшаться с ростом ёмкости модели.<ref name="belkin2019">{{статья |автор = Belkin, M.; Hsu, D.; Ma, S.; Mandal, S. |заглавие = Reconciling Modern Machine-Learning Practice and the Classical Bias–Variance Trade-Off |издание = Proceedings of the National Academy of Sciences |год = 2019 |том = 116 |номер = 32 |страницы = 15849—15854 |ссылка = https://doi.org/10.1073/pnas.1903070116 }}</ref> Это не отменило разложение ошибки, но показало ограниченность простой монотонной зависимости разброса от числа параметров. == Основная идея == Пусть один и тот же алгоритм многократно обучается на независимых выборках одинакового размера из одной генеральной совокупности. Для фиксированного объекта <tex>x</tex> получаются, вообще говоря, разные предсказания. Их среднее характеризует систематическое поведение алгоритма, а рассеяние вокруг среднего — его чувствительность к данным. * '''Смещение''' велико, если среднее по возможным обучающим выборкам предсказание далеко от оптимального предсказания. Типичный источник — чрезмерно узкий класс моделей или слишком сильная регуляризация. * '''Разброс''' велик, если небольшое изменение обучающих данных заметно меняет предсказание. Типичные источники — малый объём выборки, высокая эффективная сложность и нестабильная процедура подгонки. * '''Неустранимая ошибка''' вызывается случайностью отклика при известных признаках. Ни выбор более сложной модели, ни повторное обучение не устраняют её без дополнительной информации. Интуитивно модель с высоким смещением «ошибается одинаковым образом» на разных выборках, а модель с высоким разбросом «ошибается по-разному». [[Недообучение]] часто связано с большим смещением, а [[Переобучение]] — с большим разбросом, но эти соответствия не являются определениями: например, интерполирующая модель в некоторых высокоразмерных режимах может иметь малый тестовый риск. Важно различать три понятия. '''Разложение смещения и разброса''' — математическое тождество при заданных условиях. '''Компромисс''' — наблюдаемая зависимость составляющих от настройки алгоритма. '''Выбор модели''' — практическая процедура минимизации оценки полного риска, а не отдельных слагаемых. == Математические основы == === Постановка задачи === Пусть <tex>(X,Y)</tex> имеет неизвестное совместное [[Распределение вероятностей|распределение]], а обучающая выборка состоит из независимых одинаково распределённых наблюдений: ::<tex>D=((X_1,Y_1),\ldots,(X_n,Y_n)).</tex> Алгоритм обучения по выборке <tex>D</tex> и, возможно, внутренней случайности <tex>A</tex> строит функцию <tex>\hat f_{D,A}</tex>. В задаче регрессии с квадратичной потерей оптимальное предсказание при известном <tex>X=x</tex> равно условному математическому ожиданию ::<tex>f(x)={\rm E}(Y\mid X=x).</tex> Отклик можно представить в виде ::<tex>Y=f(X)+\varepsilon,\qquad {\rm E}(\varepsilon\mid X)=0,\qquad {\rm Var}(\varepsilon\mid X=x)=\sigma^2(x).</tex> Ожидание по всем возможным обучающим выборкам и внутренней случайности алгоритма обозначим ::<tex>\bar f(x)={\rm E}_{D,A}\hat f_{D,A}(x).</tex> Тогда поточечное смещение и разброс определяются как ::<tex>{\rm Bias}(x)=\bar f(x)-f(x),</tex> ::<tex>{\rm Var}(x)={\rm E}_{D,A}(\hat f_{D,A}(x)-\bar f(x))^2.</tex> Здесь случайность тестового отклика считается независимой от обучающей выборки. Если алгоритм детерминирован, ожидание по <tex>A</tex> не требуется; если используются случайная инициализация, подвыборки или стохастическая оптимизация, их вклад входит в разброс. === Разложение квадратичного риска === Для фиксированного <tex>x</tex> ожидаемая ошибка на новом отклике имеет точное разложение ::<tex>{\rm E}_{D,A,Y\mid x}(Y-\hat f_{D,A}(x))^2=\sigma^2(x)+{\rm Bias}^2(x)+{\rm Var}(x).</tex> Оно получается добавлением и вычитанием <tex>f(x)</tex> и <tex>\bar f(x)</tex>. Смешанные слагаемые исчезают, поскольку шум имеет нулевое условное среднее, а отклонение <tex>\hat f_{D,A}(x)-\bar f(x)</tex> имеет нулевое среднее по обучению. После усреднения по распределению объектов: ::<tex>{\rm E}_{D,A}R(\hat f_{D,A})={\rm E}_{X}\sigma^2(X)+{\rm E}_{X}{\rm Bias}^2(X)+{\rm E}_{X}{\rm Var}(X),</tex> где ::<tex>R(g)={\rm E}_{X,Y}(Y-g(X))^2.</tex> Первое слагаемое не зависит от алгоритма при фиксированном наборе признаков. Два остальных образуют ожидаемый избыточный риск относительно функции <tex>f</tex>. Если наблюдаемые признаки неполны, часть вариативности, предсказуемая по ненаблюдаемым факторам, также попадает в условный шум. Аналогичное тождество для векторной оценки параметра <tex>\hat\theta</tex> и квадратичной евклидовой потери имеет вид ::<tex>{\rm E}\|\hat\theta-\theta\|^2=\|{\rm E}\hat\theta-\theta\|^2+{\rm tr}({\rm Cov}(\hat\theta)).</tex> Смещение функции предсказания и смещение оценки параметра не всегда совпадают по практическому смыслу: разные параметры могут задавать одинаковые либо почти одинаковые предсказания. === Условный и безусловный разброс === Определение зависит от того, какие источники случайности усредняются. В регрессии со случайным планом разброс включает изменение как откликов <tex>Y_i</tex>, так и признаков <tex>X_i</tex>. При фиксированном плане признаки условно фиксируют, и рассматривают только случайность откликов и алгоритма. Эти величины могут существенно различаться. Полезно также отличать: * разброс предсказания между обучающими выборками; * условную дисперсию будущего отклика <tex>\sigma^2(x)</tex>; * оценённую неопределённость конкретного предсказания после наблюдения одной выборки; * дисперсию ошибки оценки риска при кросс-валидации. Все они измеряют разные случайные объекты и не являются взаимозаменяемыми. === Потери, отличные от квадратичной === Простая сумма «шум + квадрат смещения + разброс» опирается на геометрию квадратичной потери. Для абсолютной ошибки и ошибки классификации ноль — один такого тождества с теми же определениями нет. Для классификации предлагались альтернативные определения центрального классификатора, систематической ошибки и вариативности; разные разложения отвечают разным требованиям, а вклад вариативности в некоторых схемах может иметь знак.<ref name="domingos2000" /> Поэтому численные значения «смещения» и «разброса» классификатора следует интерпретировать только вместе с конкретным определением. Более широкий класс точных разложений связан с [[Дивергенция Брегмана|дивергенциями Брегмана]], включающими квадратичную ошибку и, при соответствующей параметризации, логарифмическую потерю. При естественных требованиях непрерывности, неотрицательности и нулевой потери только при совпадении аргументов чистое разложение такого типа возможно именно для преобразованных дивергенций Брегмана; симметричный случай по существу сводится к квадрату евклидова расстояния.<ref name="heskes2025">{{статья |автор = Heskes, T. |заглавие = Bias-Variance Decompositions: The Exclusive Privilege of Bregman Divergences |издание = Journal of Machine Learning Research |год = 2025 |том = 26 |номер = 279 |страницы = 1—30 |ссылка = https://www.jmlr.org/papers/v26/25-0211.html }}</ref> == Связь со сложностью модели == В классической картине рассматривают семейство алгоритмов, упорядоченное по эффективной сложности: степень полинома, глубина дерева, число соседей, ширина базиса или обратная сила регуляризации. При малой сложности класс функций может плохо приближать <tex>f</tex>, что создаёт большое смещение. При росте сложности аппроксимация улучшается, но алгоритм получает больше возможностей реагировать на случайные особенности выборки, и разброс часто увеличивается. Сумма слагаемых тогда имеет U-образную зависимость и достигает минимума при промежуточной сложности.<ref name="geman1992" /> Эта схема является эвристикой, а не следствием самого разложения. Сложность нельзя в общем случае отождествлять с числом параметров. На риск влияют геометрия признаков, спектр матрицы плана, алгоритм оптимизации, норма выбранного решения, регуляризация, объём и распределение данных. Более богатый класс гипотез содержит прежний класс, но процедура обучения в нём может выбирать решения совсем иного типа. С ростом размера выборки <tex>n</tex> разброс обычно уменьшается, а допустимую сложность можно увеличивать без потери устойчивости. В непараметрических методах параметр сглаживания часто зависит от <tex>n</tex>: для [[Состоятельная оценка|состоятельности]] требуется одновременно уменьшать аппроксимационное смещение и контролировать дисперсию. == Примеры == === Полиномиальная регрессия === Если нелинейную зависимость аппроксимировать полиномом малой степени, результат мало меняется при замене выборки, но может не воспроизводить форму зависимости. Полином высокой степени способен приблизить обучающие точки, однако между ними может сильно колебаться. Степень полинома управляет не только приближением, но и обусловленностью задачи; масштабирование признаков и регуляризация могут существенно изменить разброс при той же степени. === Гребневая регрессия === В линейной модели <tex>y=X\beta+\varepsilon</tex>, где <tex>{\rm E}\varepsilon=0</tex> и <tex>{\rm Cov}(\varepsilon)=\sigma^2 I</tex>, гребневая оценка имеет вид ::<tex>\hat\beta_\lambda=(X^{T}X+\lambda I)^{-1}X^{T}y,\qquad \lambda>0.</tex> При фиксированной матрице <tex>X</tex> её смещение равно ::<tex>{\rm E}(\hat\beta_\lambda\mid X)-\beta=-\lambda(X^{T}X+\lambda I)^{-1}\beta,</tex> а ковариационная матрица равна ::<tex>{\rm Cov}(\hat\beta_\lambda\mid X)=\sigma^2(X^{T}X+\lambda I)^{-1}X^{T}X(X^{T}X+\lambda I)^{-1}.</tex> Увеличение <tex>\lambda</tex> стягивает коэффициенты к нулю: смещение обычно возрастает, зато дисперсия уменьшается, особенно вдоль плохо определённых направлений матрицы <tex>X^{T}X</tex>. Оптимальное значение зависит от цели — риска предсказания, ошибки параметров или иной функции потерь — и обычно выбирается по данным.<ref name="hoerl1970" /> === Линейные сглаживатели === Для многих методов сглаживания предсказания в обучающих точках записываются как <tex>\hat y=S_\lambda y</tex>. При фиксированном плане и гомоскедастичном шуме ::<tex>{\rm E}(\hat y\mid X)-f=(S_\lambda-I)f,\qquad {\rm Cov}(\hat y\mid X)=\sigma^2 S_\lambda S_\lambda^{T}.</tex> Величину <tex>{\rm tr}(S_\lambda)</tex> часто интерпретируют как эффективное число степеней свободы. Она позволяет сравнивать сложность методов, у которых формальное число параметров не отражает фактическую гибкость.<ref name="hastie2009" /> === Усреднение моделей === Пусть <tex>M</tex> базовых предсказаний имеют одинаковую дисперсию <tex>\tau^2</tex> и одинаковую попарную корреляцию <tex>\rho</tex>. Тогда дисперсия их среднего равна ::<tex>{\rm Var}\left(\frac{1}{M}\sum_{m=1}^{M}\hat f_m(x)\right)=\rho\tau^2+\frac{1-\rho}{M}\tau^2.</tex> Усреднение особенно эффективно, когда базовые модели нестабильны, но их ошибки не полностью коррелированы. На этом основан [[Бэггинг|бэггинг]]: модели обучают на бутстреп-выборках, а предсказания усредняют или объединяют голосованием. Лео Брейман показал его пользу прежде всего для нестабильных процедур, таких как деревья и выбор подмножеств признаков.<ref name="breiman1996">{{статья |автор = Breiman, L. |заглавие = Bagging Predictors |издание = Machine Learning |год = 1996 |том = 24 |номер = 2 |страницы = 123—140 |ссылка = https://doi.org/10.1007/BF00058655 }}</ref> Усреднение не гарантирует уменьшения смещения и мало помогает при почти одинаковых ошибках всех членов ансамбля. == Способы управления смещением и разбросом == === Ограничение класса моделей === Глубина [[Решающее дерево|решающего дерева]], число базисных функций, степень полинома, число отобранных признаков и размер окрестности задают эффективную гибкость. Обрезка дерева, увеличение числа соседей и усиление сглаживания обычно стабилизируют предсказание ценой более грубого приближения. Направление изменения полного риска необходимо проверять: один и тот же гиперпараметр может действовать по-разному в разных распределениях данных. === Явная и неявная регуляризация === Штрафы за норму параметров, гладкость или сложность решения уменьшают множество практически доступных моделей. [[Лассо|Лассо]] сочетает стягивание с отбором признаков, гребневая регрессия непрерывно уменьшает коэффициенты, а регуляризация гладкости подавляет быстрые колебания функции. Ранняя остановка итерационного обучения, ограниченная точность оптимизации и архитектура модели могут создавать '''неявную регуляризацию''': итог определяется не только множеством интерполирующих решений, но и тем, какое из них выбирает алгоритм. === Агрегирование и рандомизация === Бэггинг, [[Случайный лес|случайные леса]] и ансамбли независимо инициализированных нейронных сетей уменьшают часть разброса усреднением. Рандомизация признаков в случайном лесу стремится снизить корреляцию деревьев, хотя может увеличить смещение отдельных деревьев. [[Бустинг]] последовательно исправляет ошибки базовых моделей и нередко уменьшает смещение; его поведение нельзя описать только как зеркальное отражение бэггинга. === Увеличение объёма и качества данных === Дополнительные независимые наблюдения обычно снижают выборочную вариативность без искусственного ограничения модели. Однако дубликаты, сильно зависимые наблюдения и некорректная аугментация не дают того же эффекта, что новые независимые данные. Исправление ошибок измерения, добавление информативных признаков и согласование распределений обучения и применения могут одновременно уменьшать смещение и разброс, поэтому здесь обязательного обмена одного на другое нет. === Априорная информация и совместное оценивание === Иерархические и [[Байесовский метод|байесовские]] модели стягивают слабо определённые оценки к общему уровню или априорному центру. Это может уменьшать частотный риск, как в оценивании Джеймса — Стейна, но результат зависит от уместности структуры стягивания. Байесовское апостериорное распределение условно на наблюдённой выборке не совпадает с частотным распределением оценок по повторным выборкам; поэтому апостериорную дисперсию нельзя автоматически называть компонентой разброса в классическом разложении. == Диагностика и выбор модели == В реальной задаче доступна одна выборка, тогда как определения смещения и разброса требуют повторения всего эксперимента. Поэтому обычно оценивают полный риск вне обучения, а компоненты используют как диагностическую модель. === Обучающая и проверочная ошибки === Малая обучающая ошибка при заметно большей проверочной ошибке служит признаком нестабильности или переобучения. Большие ошибки на обеих частях данных могут указывать на недостаточную выразительность, недостаток признаков, слишком сильную регуляризацию или неудачную оптимизацию. Разрыв ошибок сам по себе не является оценкой разброса: на него влияют шум, размер проверочной выборки и различие распределений. === Кривые обучения === Кривые обучения показывают обучающую и проверочную ошибку как функции размера выборки. Если проверочная ошибка продолжает снижаться с ростом <tex>n</tex>, дополнительные данные, вероятно, полезны. Если обе кривые сходятся на высоком уровне, может потребоваться более содержательная модель или признаки. Выводы являются эвристическими и должны сопровождаться интервалами неопределённости и разбиением, соответствующим структуре данных. === Повторное переобучение и бутстреп === При <tex>B</tex> повторных выборках или разбиениях можно вычислить предсказания <tex>\hat f_1(x),\ldots,\hat f_B(x)</tex> и их эмпирический разброс: ::<tex>\hat V(x)=\frac{1}{B-1}\sum_{b=1}^{B}(\hat f_b(x)-\bar f_B(x))^2,\qquad \bar f_B(x)=\frac{1}{B}\sum_{b=1}^{B}\hat f_b(x).</tex> Это оценка вариативности относительно выбранной схемы ресэмплинга, а не прямое наблюдение популяционного <tex>{\rm Var}(x)</tex>. Смещение оценить труднее, поскольку истинная функция <tex>f(x)</tex> неизвестна. Его можно непосредственно изучать в симуляциях с известным механизмом данных, при повторных измерениях отклика в одной точке или в специально заданной параметрической модели. === Кросс-валидация и вложенная оценка === Кросс-валидация оценивает ошибку вне подвыборки и позволяет выбирать силу регуляризации или сложность.<ref name="stone1974" /> Если по тем же результатам одновременно выбрать лучшую настройку и сообщить её качество, минимум среди шумных оценок оказывается оптимистически смещённым. Для независимой оценки всей процедуры настройки применяют внешний тестовый набор или [[Вложенная кросс-валидация|вложенную кросс-валидацию]]. Переобучение на критерии выбора модели может быть существенным даже при несмещённых оценках риска каждой фиксированной конфигурации.<ref name="cawley2010">{{статья |автор = Cawley, G. C.; Talbot, N. L. C. |заглавие = On Over-Fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation |издание = Journal of Machine Learning Research |год = 2010 |том = 11 |страницы = 2079—2107 |ссылка = https://www.jmlr.org/papers/v11/cawley10a.html }}</ref> Для временных, пространственных, группированных и иерархических данных случайное перемешивание наблюдений может привести к утечке информации. Схема проверки должна воспроизводить единицу независимого повторения и предполагаемый способ применения модели. == Трудности и ограничения == === Неуниверсальность компромисса === Из равенства «риск = шум + квадрат смещения + разброс» не следует, что уменьшение одного слагаемого обязательно увеличивает другое. Улучшение признаков, рост выборки, более подходящее предположение о структуре данных или удачное усреднение способны уменьшить обе составляющие. Термин описывает ограничение внутри выбранного семейства алгоритмов и режима данных, а не запрет на одновременное улучшение. === Зависимость от целевой величины и распределения === Смещение определяется относительно конкретной функции <tex>f(x)</tex>, распределения объектов, размера выборки и алгоритма. Модель может иметь малое интегральное смещение и большое смещение в редкой, но важной области. При [[Сдвиг распределения|сдвиге распределения]] разложение, оценённое на обучающей популяции, не описывает автоматически риск в новой популяции. === Зависимость от функции потерь === Разложение для квадратичной ошибки нельзя без изменений переносить на абсолютную ошибку, AUC, F-меру или потерю ноль — один.<ref name="heskes2025" /> Кроме того, метрики, вычисляемые сразу по набору объектов, могут не представляться средним поточечных потерь. Практический выбор модели должен соответствовать реальной цене ошибок, даже если для этой потери нет удобного разложения. === Неоднозначность сложности === Число параметров не определяет эффективную ёмкость само по себе. Нормы весов, гладкость, запас классификации, спектр ядра, архитектурные симметрии и траектория оптимизации могут быть важнее. Поэтому сравнение моделей только по формальному числу коэффициентов способно дать ошибочную картину смещения и разброса. === Терминологические смешения === Статистическое смещение предсказателя не следует смешивать с несправедливостью данных или алгоритма по отношению к социальным группам. Эти явления могут взаимодействовать, но требуют разных определений и критериев. Аналогично, большой разброс не тождествен плохой калибровке вероятностей, а неустранимый шум не обязательно является физически неустранимым: он зависит от доступных признаков и уровня описания. == Современные направления исследований == === Двойной спуск и интерполяция === В классическом маломерном режиме тестовая ошибка часто возрастает при приближении к интерполяции. В перепараметризованном режиме существует много решений с нулевой обучающей ошибкой, и алгоритм может выбрать среди них решение малой нормы или иной низкой эффективной сложности. Кривая риска тогда может иметь первый минимум, пик около порога интерполяции и второй участок спуска.<ref name="belkin2019" /> Для высокоразмерной линейной регрессии получены точные асимптотические описания риска безгребневого интерполирующего решения; они показывают зависимость двойного спуска от отношения числа параметров к числу наблюдений и от спектра ковариации признаков.<ref name="hastie2022">{{статья |автор = Hastie, T.; Montanari, A.; Rosset, S.; Tibshirani, R. J. |заглавие = Surprises in High-Dimensional Ridgeless Least Squares Interpolation |издание = The Annals of Statistics |год = 2022 |том = 50 |номер = 2 |страницы = 949—986 |ссылка = https://doi.org/10.1214/21-AOS2133 }}</ref> Следовательно, рост параметризации после порога интерполяции не гарантирует улучшения: эффект требует условий на сигнал, шум, ковариационную структуру и правило выбора решения. === Благоприятное переобучение === '''Благоприятным переобучением''' (англ. benign overfitting) называют режим, в котором интерполятор точно подгоняет шумные обучающие данные, но сохраняет малый избыточный риск. Для линейной регрессии условия такого поведения выражаются через эффективные ранги и спектральный спад ковариации признаков.<ref name="bartlett2020">{{статья |автор = Bartlett, P. L.; Long, P. M.; Lugosi, G.; Tsigler, A. |заглавие = Benign Overfitting in Linear Regression |издание = Proceedings of the National Academy of Sciences |год = 2020 |том = 117 |номер = 48 |страницы = 30063—30070 |ссылка = https://doi.org/10.1073/pnas.1907378117 }}</ref> Понятие подчёркивает различие между нулевой обучающей ошибкой и плохой обобщающей способностью. === Разложение источников разброса === В глубоких моделях случайность возникает из выборки объектов, шума меток, начальных весов, мини-пакетов и других этапов алгоритма. Полная дисперсия скрывает взаимодействия между этими источниками. Для моделей случайных признаков были построены более детальные разложения, в которых отдельные компоненты могут немонотонно зависеть от ширины и резко возрастать около порога интерполяции.<ref name="adlam2020">{{статья |автор = Adlam, B.; Pennington, J. |заглавие = Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition |издание = Advances in Neural Information Processing Systems 33 |год = 2020 |том = 33 |страницы = 11022—11032 |ссылка = https://proceedings.neurips.cc/paper/2020/hash/7d420e2b2939762031eed0447a9be19f-Abstract.html }}</ref> Анализ случайных признаков в режиме «ленивого» обучения также отделяет вклад выборки, шума меток и инициализации и исследует, как ансамбли подавляют отдельные компоненты.<ref name="dascoli2020">{{статья |автор = D’Ascoli, S.; Refinetti, M.; Biroli, G.; Krzakala, F. |заглавие = Double Trouble in Double Descent: Bias and Variance(s) in the Lazy Regime |издание = Proceedings of the 37th International Conference on Machine Learning |год = 2020 |том = 119 |страницы = 2280—2290 |ссылка = https://proceedings.mlr.press/v119/d-ascoli20a.html }}</ref> === Разложения для общих потерь === Современная теория уточняет, какие свойства потери позволяют определить центральное предсказание, неотрицательное смещение и неотрицательную вариативность так, чтобы они точно суммировались в ожидаемый риск. Характеризация через преобразованные дивергенции Брегмана объясняет, почему для логарифмической потери возможен естественный аналог, а для абсолютной и дискретной потерь неизбежны иные определения или остаточные члены.<ref name="heskes2025" /> Это направление связывает компромисс с геометрией пространства предсказаний, а не только со сложностью моделей. == Применения == Компромисс между смещением и разбросом используется как принцип анализа и проектирования в следующих задачах: * выбор степени сглаживания в непараметрической регрессии и обработке сигналов; * настройка регуляризации в линейных моделях, ядровых методах и нейронных сетях; * выбор глубины и обрезка решающих деревьев; * определение числа соседей в [[Метод ближайших соседей|методе ближайших соседей]]; * построение ансамблей и оценка пользы разнообразия базовых моделей; * планирование объёма выборки и анализ кривых обучения; * сравнение устойчивости алгоритмов при смене обучающих данных; * интерпретация интерполяции и перепараметризации в современных моделях. В прикладной работе принцип не заменяет проверку на независимых данных. Он помогает сформулировать причину ошибки и выбрать вмешательство: усилить или ослабить регуляризацию, собрать данные, изменить признаки, стабилизировать обучение либо усреднить модели. == См. также == * [[Смещение оценки]] * [[Дисперсия]] * [[Среднеквадратичная ошибка]] * [[Переобучение]] * [[Обобщающая способность]] * [[Регуляризация]] * [[Кросс-валидация]] * [[Бэггинг]] * [[Статистическая теория обучения]] * [[Проклятие размерности]] == Примечания == <references /> == Литература == * {{книга |автор = Hastie, T.; Tibshirani, R.; Friedman, J. |заглавие = The Elements of Statistical Learning: Data Mining, Inference, and Prediction |издание = 2-е изд. |место = New York |издательство = Springer |год = 2009 |isbn = 978-0-387-84857-0 |ссылка = https://doi.org/10.1007/978-0-387-84858-7 }} * {{статья |автор = Geman, S.; Bienenstock, E.; Doursat, R. |заглавие = Neural Networks and the Bias/Variance Dilemma |издание = Neural Computation |год = 1992 |том = 4 |номер = 1 |страницы = 1—58 |ссылка = https://doi.org/10.1162/neco.1992.4.1.1 }} * {{статья |автор = Domingos, P. |заглавие = A Unified Bias-Variance Decomposition for Zero-One and Squared Loss |издание = Proceedings of the Seventeenth National Conference on Artificial Intelligence |место = Menlo Park |издательство = AAAI Press |год = 2000 |страницы = 564—569 |ссылка = https://s.aaai.org/Library/AAAI/2000/aaai00-086.php }} * {{статья |автор = Breiman, L. |заглавие = Bagging Predictors |издание = Machine Learning |год = 1996 |том = 24 |номер = 2 |страницы = 123—140 |ссылка = https://doi.org/10.1007/BF00058655 }} * {{статья |автор = Belkin, M.; Hsu, D.; Ma, S.; Mandal, S. |заглавие = Reconciling Modern Machine-Learning Practice and the Classical Bias–Variance Trade-Off |издание = Proceedings of the National Academy of Sciences |год = 2019 |том = 116 |номер = 32 |страницы = 15849—15854 |ссылка = https://doi.org/10.1073/pnas.1903070116 }} * {{статья |автор = Bartlett, P. L.; Long, P. M.; Lugosi, G.; Tsigler, A. |заглавие = Benign Overfitting in Linear Regression |издание = Proceedings of the National Academy of Sciences |год = 2020 |том = 117 |номер = 48 |страницы = 30063—30070 |ссылка = https://doi.org/10.1073/pnas.1907378117 }} * {{статья |автор = Hastie, T.; Montanari, A.; Rosset, S.; Tibshirani, R. J. |заглавие = Surprises in High-Dimensional Ridgeless Least Squares Interpolation |издание = The Annals of Statistics |год = 2022 |том = 50 |номер = 2 |страницы = 949—986 |ссылка = https://doi.org/10.1214/21-AOS2133 }} * {{статья |автор = Heskes, T. |заглавие = Bias-Variance Decompositions: The Exclusive Privilege of Bregman Divergences |издание = Journal of Machine Learning Research |год = 2025 |том = 26 |номер = 279 |страницы = 1—30 |ссылка = https://www.jmlr.org/papers/v26/25-0211.html }} == Ссылки == * [https://hastie.su.domains/ElemStatLearn/ Официальная страница книги «The Elements of Statistical Learning»] * [https://www.jmlr.org/papers/v26/25-0211.html Материалы статьи о разложениях для дивергенций Брегмана на сайте JMLR] * [https://proceedings.neurips.cc/paper/2020/hash/7d420e2b2939762031eed0447a9be19f-Abstract.html Материалы NeurIPS о детальном разложении разброса при двойном спуске] [[Категория:Машинное обучение]] [[Категория:Математическая статистика]] [[Категория:Теория оценивания]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Книга
• Шаблон:Переводы
• Шаблон:Статья

Возврат к странице Компромисс между смещением и разбросом.