Материал из MachineLearning.

Статья написана с использованием LLM OpenAI GPT-5.5 и проверена участником Georgii Maiorov Georgii Maiorov 12:25, 18 июля 2026 (MSD)

Содержание 1 Условное математическое ожидание и среднеквадратичный риск 1.1 Постановка задачи 1.2 Теорема 1.3 Интуитивное объяснение 1.4 Доказательство 1.5 Связь с байесовской регрессией 1.6 Практическое значение 1.7 См. также 1.8 Литература

Условное математическое ожидание и среднеквадратичный риск

Условное математическое ожидание и среднеквадратичный риск — фундаментальный результат теории статистических решений, байесовской статистики и теории регрессии, утверждающий, что при использовании квадратичной функции потерь оптимальным прогнозом является условное математическое ожидание.

Во многих алгоритмах машинного обучения качество модели оценивается с помощью среднеквадратичной ошибки (Mean Squared Error, MSE). Обычно этот критерий воспринимается как удобная функция для оптимизации: она непрерывна, дифференцируема и позволяет эффективно применять методы градиентного спуска. Однако за этим вычислительным удобством скрывается важный вероятностный смысл.

Предположим, что после наблюдения признаков истинное значение целевой переменной остаётся случайным, а известным считается только её условное распределение . Возникает естественный вопрос: какое число следует использовать в качестве прогноза? Интуитивно можно ожидать, что оптимальным окажется наиболее вероятное значение или медиана распределения. Тем не менее минимизация среднеквадратичного риска приводит к другой характеристике распределения — условному математическому ожиданию.

Этот результат лежит в основе байесовской регрессии, классической регрессии и многих современных методов машинного обучения. Он показывает, что минимизация MSE означает не просто уменьшение средней ошибки на обучающей выборке, а приближение модели к условному математическому ожиданию целевой переменной.

Постановка задачи

Пусть — наблюдаемая случайная величина (или вектор признаков), а — случайная величина, которую требуется предсказать по наблюдаемому значению .

Рассматривается произвольная измеримая функция

которая каждому наблюдению сопоставляет прогноз значения .

Качество прогноза оценивается квадратичной функцией потерь

Средний риск определяется как математическое ожидание функции потерь

Требуется найти функцию, минимизирующую этот риск:

Иными словами, требуется определить, какая функция от наблюдаемых данных обеспечивает наименьшую возможную среднеквадратичную ошибку в среднем по всем возможным наблюдениям.

Теорема

Теорема.

Среди всех измеримых функций минимальный среднеквадратичный риск достигается на условном математическом ожидании:

Для любой измеримой функции выполняется неравенство

Причём равенство достигается тогда и только тогда, когда

почти всюду.

Интуитивное объяснение

Возникает естественный вопрос: почему оптимальным оказывается именно условное математическое ожидание, а не наиболее вероятное значение случайной величины?

Причина заключается в том, что квадратичная функция потерь сильнее штрафует большие ошибки, чем малые. Если прогноз сместить относительно условного математического ожидания, то уменьшение ошибки для одних реализаций окажется меньше, чем увеличение ошибки для других. В результате суммарный среднеквадратичный риск возрастает.

Рассмотрим простейший пример. Пусть при фиксированном значении случайная величина принимает два значения:

Наиболее вероятного значения здесь не существует: оба исхода равновероятны. Рассмотрим несколько возможных прогнозов.

Прогноз	Среднеквадратичный риск

Условное математическое ожидание равно

и именно оно обеспечивает минимальную среднеквадратичную ошибку, хотя значение вообще никогда не встречается среди возможных исходов.

Этот пример показывает, что минимизация MSE не стремится предсказать наиболее вероятное значение случайной величины. Она выбирает такое число, относительно которого сумма квадратов ошибок минимальна. Теорема, доказанная ниже, утверждает, что для любого условного распределения этим числом является условное математическое ожидание.

Доказательство

Обозначим

Тогда для любой функции

Возведём обе части равенства в квадрат:

После взятия математического ожидания получаем

Остаётся показать, что смешанный член равен нулю.

Поскольку функции и зависят только от , величина также является функцией от . Используя свойство условного математического ожидания,

получаем

Следовательно,

Последнее слагаемое неотрицательно, поэтому

Равенство возможно только тогда, когда

что эквивалентно условию

почти всюду.

Тем самым доказано, что единственной функцией, минимизирующей среднеквадратичный риск, является условное математическое ожидание.

Таким образом, условное математическое ожидание является оптимальным прогнозом не само по себе, а только при использовании квадратичной функции потерь.

Связь с байесовской регрессией

В байесовской регрессии после наблюдения данных строится апостериорное распределение неизвестной величины .

Если качество прогноза оценивается квадратичной функцией потерь,

то оптимальное байесовское решение совпадает с апостериорным средним

Именно поэтому вероятностные модели регрессии, обучаемые с использованием MSE, аппроксимируют условное математическое ожидание целевой переменной.

Практическое значение

Результат используется при анализе большинства методов регрессии, включая линейную регрессию, гауссовские процессы, нейронные сети и другие модели, обучаемые с помощью среднеквадратичной ошибки.

Важно различать две задачи:

• аппроксимацию условного математического ожидания;
• восстановление полного условного распределения.

Во многих практических задачах одного среднего значения недостаточно. Поэтому современные вероятностные модели дополнительно оценивают условную дисперсию, квантили и другие характеристики условного распределения.

См. также

• Условное математическое ожидание
• Среднеквадратичная ошибка
• Функция потерь
• Байесовская регрессия
• Регрессия

Литература

1. Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
2. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2009.
3. Berger J. O. Statistical Decision Theory and Bayesian Analysis. Springer, 1985.
4. Боровков А. А. Теория вероятностей.