Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

'''Распределение вероятностей''' — это математическое описание того, какие значения может принимать [[случайная величина]] или случайный вектор и с какими [[вероятность|вероятностями]] эти значения связаны. В прикладном смысле распределение задаёт модель неопределённости: оно показывает не только наиболее вероятные исходы, но и разброс, редкие события, зависимость между величинами и степень уверенности в предсказаниях. В [[анализ данных|анализе данных]] и [[машинное обучение|машинном обучении]] распределения вероятностей играют центральную роль. Данные обычно рассматриваются как наблюдения, порождённые некоторым неизвестным распределением, а обучение модели можно понимать как попытку восстановить это распределение, аппроксимировать его отдельные свойства или научиться делать предсказания на его основе.<ref name="Bishop2006">Bishop C. M. ''Pattern Recognition and Machine Learning''. Springer, 2006.</ref><ref name="Murphy2012">Murphy K. P. ''Machine Learning: A Probabilistic Perspective''. MIT Press, 2012.</ref> == Основная идея == Распределение вероятностей отвечает на вопрос: как вероятность распределена между возможными исходами. Если случайная величина <tex>X</tex> описывает результат эксперимента, то её распределение определяет, какие значения <tex>x</tex> возможны и насколько они вероятны. Например, если <tex>X</tex> — результат броска правильной игральной кости, то каждое из значений <tex>1,2,3,4,5,6</tex> имеет вероятность <tex>1/6</tex>. Если <tex>X</tex> — рост случайно выбранного человека, то возможные значения образуют практически непрерывный диапазон, и вероятность описывается не отдельными точками, а плотностью на числовой оси. Интуитивно распределение можно понимать как идеализированную «карту неопределённости». Выборка данных показывает лишь конечный набор наблюдений, а распределение описывает общий закон, из которого эти наблюдения могли быть получены. Поэтому различают эмпирические свойства конкретного набора данных и вероятностные свойства предполагаемой генеральной совокупности. == Формальное определение == В современной теории вероятностей распределение случайной величины определяется через вероятностную меру. Пусть <tex>X</tex> — случайная величина, заданная на вероятностном пространстве. Тогда распределением <tex>X</tex> называется мера, которая каждому допустимому множеству значений <tex>A</tex> сопоставляет вероятность того, что <tex>X</tex> попадёт в это множество:<ref name="Kolmogorov1933">Kolmogorov A. N. ''Grundbegriffe der Wahrscheinlichkeitsrechnung''. Berlin: Springer, 1933.</ref><ref name="Billingsley1995">Billingsley P. ''Probability and Measure''. 3rd ed. Wiley, 1995.</ref> :<tex>P_X(A)=P(X \in A)</tex> Эта формула означает, что распределение <tex>P_X</tex> переносит вероятность с исходного пространства элементарных исходов на пространство значений случайной величины. На практике часто говорят просто «распределение <tex>X</tex>», имея в виду правило, по которому можно находить вероятности событий вида <tex>X \in A</tex>. Если случайная величина принимает числовые значения, её распределение часто задают с помощью функции распределения: :<tex>F_X(x)=P(X \leq x)</tex> Функция распределения показывает вероятность того, что значение случайной величины не превосходит заданного порога <tex>x</tex>. Она применима как к дискретным, так и к непрерывным распределениям. == Дискретные распределения == '''Дискретное распределение''' описывает случайную величину, принимающую конечное или счётное число значений. В этом случае распределение удобно задавать функцией вероятности: :<tex>p_X(x)=P(X=x)</tex> Значение <tex>p_X(x)</tex> — это вероятность того, что случайная величина примет ровно значение <tex>x</tex>. Для всех возможных значений вероятности неотрицательны и в сумме дают единицу: :<tex>\sum_x p_X(x)=1</tex> Эта формула выражает простое требование: одно из возможных значений должно реализоваться, а суммарная вероятность всех взаимоисключающих вариантов равна единице. К типичным дискретным распределениям относятся: * '''распределение Бернулли''' — модель одного бинарного испытания, например успеха или неуспеха; * '''категориальное распределение''' — модель выбора одного класса из нескольких; * '''биномиальное распределение''' — модель числа успехов в серии независимых испытаний; * '''распределение Пуассона''' — модель числа редких событий на фиксированном интервале времени или пространства. В машинном обучении дискретные распределения возникают в задачах [[классификация|классификации]], моделирования категориальных признаков, языкового моделирования и оценки вероятностей классов. == Непрерывные распределения == '''Непрерывное распределение''' описывает случайную величину, значения которой лежат на непрерывной шкале. Для таких величин вероятность отдельного точного значения обычно равна нулю, поэтому распределение задают не вероятностями точек, а плотностью вероятности: :<tex>P(a \leq X \leq b)=\int_a^b f_X(x) dx</tex> Плотность <tex>f_X(x)</tex> показывает, как вероятность распределена около точки <tex>x</tex>. Сама плотность не является вероятностью: она может быть больше единицы, но площадь под графиком плотности на всём пространстве значений должна равняться единице: :<tex>\int_{-\infty}^{\infty} f_X(x) dx=1</tex> Эта формула означает, что вся вероятность сосредоточена где-то на числовой оси. Вероятность интервала равна площади под графиком плотности на этом интервале. К распространённым непрерывным распределениям относятся: * '''равномерное распределение''' — все значения на заданном интервале имеют одинаковую плотность; * '''нормальное распределение''' — симметричное распределение с характерной колоколообразной формой; * '''экспоненциальное распределение''' — модель времени ожидания до события; * '''гамма-распределение''' — более гибкая модель положительных величин и времён ожидания; * '''бета-распределение''' — распределение на отрезке <tex>[0,1]</tex>, часто используемое для вероятностей и долей. Непрерывные распределения применяются при моделировании измерений, шумов, ошибок, времён ожидания, непрерывных признаков и параметров моделей. == Смешанные распределения == Не все распределения являются чисто дискретными или чисто непрерывными. В некоторых задачах возникает '''смешанное распределение''', содержащее и отдельные атомы вероятности, и непрерывную часть. Например, время ожидания может иметь положительную вероятность быть равным нулю, если событие уже произошло, а для положительных значений описываться непрерывной плотностью. В анализе данных такие ситуации встречаются при моделировании нулевых значений, пропусков, цен, страховых выплат и счётчиков с большим числом нулей. == Совместные распределения == Если рассматриваются несколько случайных величин, их поведение описывается '''совместным распределением'''. Для двух случайных величин <tex>X</tex> и <tex>Y</tex> совместное распределение задаёт вероятности или плотности пар значений. В дискретном случае: :<tex>p(x,y)=P(X=x,Y=y)</tex> Эта величина показывает вероятность того, что одновременно выполнены два условия: <tex>X</tex> приняла значение <tex>x</tex>, а <tex>Y</tex> — значение <tex>y</tex>. Из совместного распределения можно получить отдельные, или '''маргинальные''', распределения. В дискретном случае: :<tex>p_X(x)=\sum_y p(x,y)</tex> Здесь суммирование по всем значениям <tex>y</tex> означает, что для нахождения распределения <tex>X</tex> величина <tex>Y</tex> «исключается» из рассмотрения. В непрерывном случае аналогичная операция выполняется интегрированием: :<tex>f_X(x)=\int f(x,y) dy</tex> Совместные распределения особенно важны в машинном обучении, потому что данные обычно состоят из многих признаков. Вектор признаков объекта можно рассматривать как случайный вектор, а зависимость между признаками — как часть совместного распределения. == Условные распределения == '''Условное распределение''' описывает распределение одной случайной величины при известном значении другой. Для дискретных величин оно определяется формулой: :<tex>p(y \mid x)=\frac{p(x,y)}{p_X(x)}</tex> Эта формула показывает, как меняется распределение <tex>Y</tex>, если известно, что <tex>X=x</tex>. Условие не добавляет новую случайность, а ограничивает рассмотрение теми случаями, где наблюдается заданное значение <tex>X</tex>. В машинном обучении условные распределения имеют фундаментальное значение. В задаче предсказания целевой переменной <tex>Y</tex> по признакам <tex>X</tex> модель часто стремится оценить распределение: :<tex>P(Y \mid X)</tex> Это распределение описывает не только один прогноз, но и неопределённость вокруг него. Например, в классификации модель может выдавать вероятности классов, а в регрессии — распределение возможных значений ответа. Связь между совместным, маргинальным и условным распределениями выражается правилом произведения: :<tex>p(x,y)=p(y \mid x)p_X(x)</tex> Смысл этой формулы состоит в том, что вероятность совместного наблюдения можно разложить на вероятность признака <tex>x</tex> и вероятность ответа <tex>y</tex> при данном признаке. Условные распределения связаны с [[формула Байеса|формулой Байеса]]: :<tex>p(y \mid x)=\frac{p(x \mid y)p(y)}{p(x)}</tex> Эта формула позволяет перейти от распределения признаков при заданном классе к распределению классов при наблюдаемых признаках. На ней основаны байесовские методы классификации, включая [[наивный байесовский классификатор]]. == Независимость и условная независимость == Две случайные величины называются независимыми, если знание одной из них не меняет распределение другой. Для дискретного случая это записывается как: :<tex>p(x,y)=p_X(x)p_Y(y)</tex> Формула означает, что совместное распределение распадается на произведение двух маргинальных распределений. Если такое равенство не выполняется, между величинами существует вероятностная зависимость. В более сложных моделях важна [[условная независимость]]. Случайные величины <tex>X</tex> и <tex>Y</tex> условно независимы при заданной <tex>Z</tex>, если после учёта <tex>Z</tex> знание <tex>X</tex> не даёт дополнительной информации о <tex>Y</tex>: :<tex>p(x,y \mid z)=p(x \mid z)p(y \mid z)</tex> Условная независимость лежит в основе [[байесовская сеть|байесовских сетей]] и других вероятностных графических моделей. Она позволяет компактно задавать сложные совместные распределения через набор локальных условных распределений.<ref name="Pearl1988">Pearl J. ''Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference''. Morgan Kaufmann, 1988.</ref><ref name="KollerFriedman2009">Koller D., Friedman N. ''Probabilistic Graphical Models: Principles and Techniques''. MIT Press, 2009.</ref> == Параметры распределения == Многие распределения описываются небольшим числом параметров. Например, нормальное распределение задаётся математическим ожиданием и дисперсией, а распределение Бернулли — вероятностью успеха. '''Математическое ожидание''' характеризует центральное положение распределения: :<tex>E[X]=\sum_x x p_X(x)</tex> Для дискретной случайной величины это средневзвешенное значение, где веса равны вероятностям отдельных исходов. Для непрерывной случайной величины математическое ожидание записывается через плотность: :<tex>E[X]=\int x f_X(x) dx</tex> Здесь интеграл играет ту же роль, что сумма в дискретном случае: он усредняет возможные значения с учётом их плотности. '''Дисперсия''' описывает разброс значений вокруг математического ожидания: :<tex>Var(X)=E[(X-E[X])^2]</tex> Чем больше дисперсия, тем сильнее значения случайной величины обычно отклоняются от среднего. В анализе данных дисперсия помогает отличать устойчивые признаки от сильно изменчивых. Кроме ожидания и дисперсии используют медиану, квантили, асимметрию, эксцесс, ковариацию и корреляцию. Эти характеристики не заменяют распределение полностью, но дают краткое описание его важных свойств. == Эмпирическое распределение == В прикладных задачах истинное распределение данных обычно неизвестно. Вместо него доступна выборка: :<tex>x_1,x_2,\ldots,x_n</tex> По выборке можно построить '''эмпирическое распределение''', которое присваивает равную массу каждому наблюдённому значению: :<tex>\hat{P}_n(A)=\frac{1}{n}\sum_{i=1}^n I(x_i \in A)</tex> Эта формула означает, что вероятность события <tex>A</tex> оценивается как доля наблюдений, попавших в <tex>A</tex>. Эмпирическое распределение является базовой идеей статистики: многие оценки, графики и проверки гипотез можно рассматривать как способы изучения эмпирического распределения и его связи с неизвестным истинным распределением.<ref name="Feller1968">Feller W. ''An Introduction to Probability Theory and Its Applications''. Vol. 1. 3rd ed. Wiley, 1968.</ref><ref name="Durrett2019">Durrett R. ''Probability: Theory and Examples''. 5th ed. Cambridge University Press, 2019.</ref> В машинном обучении выборка обычно считается набором независимых наблюдений из одного распределения. Это предположение часто обозначают как i.i.d. — independent and identically distributed. Оно означает, что объекты независимы друг от друга и порождены одним и тем же распределением. На практике это предположение может нарушаться из-за временной зависимости, смещения выборки, изменения поведения пользователей или различий между обучающими и тестовыми данными. == Оценивание распределений == Оценивание распределения — одна из центральных задач статистики и машинного обучения. Существуют два основных подхода: параметрический и непараметрический. В '''параметрическом''' подходе предполагается, что распределение принадлежит известному семейству, но его параметры неизвестны. Например, можно предположить, что ошибки измерения имеют нормальное распределение, и оценивать его среднее и дисперсию. Один из наиболее распространённых методов — [[метод максимального правдоподобия]]. Если наблюдения независимы, правдоподобие параметра <tex>\theta</tex> имеет вид: :<tex>L(\theta)=\prod_{i=1}^n p(x_i \mid \theta)</tex> Правдоподобие показывает, насколько хорошо параметр <tex>\theta</tex> объясняет наблюдённые данные. На практике часто максимизируют логарифм правдоподобия: :<tex>\ell(\theta)=\sum_{i=1}^n \log p(x_i \mid \theta)</tex> Логарифм превращает произведение вероятностей в сумму, что обычно удобнее для вычислений и численной оптимизации. В '''непараметрическом''' подходе форма распределения заранее задаётся слабее. К таким методам относятся гистограммы, ядерные оценки плотности, эмпирическая функция распределения и некоторые виды ближайших соседей. Непараметрические методы гибче, но часто требуют больше данных и хуже работают в пространствах большой размерности. == Распределения в машинном обучении == Вероятностный взгляд на машинное обучение состоит в том, что данные и ответы рассматриваются как случайные величины. Пусть <tex>X</tex> — признаки объекта, а <tex>Y</tex> — целевая переменная. Тогда многие задачи можно описать через распределения: * в классификации оценивается <tex>P(Y \mid X)</tex>, то есть вероятность класса при данных признаках; * в регрессии можно оценивать не только точечный прогноз, но и распределение <tex>p(y \mid x)</tex>; * в генеративном моделировании изучается распределение данных <tex>p(x)</tex> или совместное распределение <tex>p(x,y)</tex>; * в обучении без учителя исследуются структура, плотность и скрытые факторы распределения признаков. '''Дискриминативные модели''' напрямую оценивают условное распределение ответа при признаках. Примером служит логистическая регрессия, которая моделирует вероятность класса. '''Генеративные модели''' описывают распределение данных или совместное распределение признаков и ответов. К ним относятся смеси распределений, наивный байесовский классификатор, вариационные автоэнкодеры и некоторые вероятностные графические модели.<ref name="Goodfellow2016">Goodfellow I., Bengio Y., Courville A. ''Deep Learning''. MIT Press, 2016.</ref> Многие функции потерь также имеют вероятностную интерпретацию. Например, минимизация отрицательного логарифма правдоподобия соответствует подбору модели, которая делает наблюдённые данные наиболее вероятными. В классификации эта идея приводит к кросс-энтропийной функции потерь, тесно связанной с информационной теорией.<ref name="CoverThomas2006">Cover T. M., Thomas J. A. ''Elements of Information Theory''. 2nd ed. Wiley, 2006.</ref> == Распределение, неопределённость и качество предсказаний == Вероятностная модель должна не только часто выбирать правильный ответ, но и корректно выражать степень уверенности. Если модель предсказывает событие с вероятностью <tex>0.8</tex>, то среди большого числа похожих случаев такое событие должно происходить примерно в 80 процентах случаев. Это свойство связано с [[калибровка вероятностей|калибровкой вероятностей]]. Современные нейронные сети могут достигать высокой точности, но при этом выдавать плохо откалиброванные вероятности, то есть быть чрезмерно уверенными в ошибочных предсказаниях.<ref name="Guo2017">Guo C., Pleiss G., Sun Y., Weinberger K. Q. On Calibration of Modern Neural Networks // ''Proceedings of the 34th International Conference on Machine Learning''. PMLR 70, 2017. P. 1321–1330.</ref> Поэтому в прикладных задачах важно различать точность классификации и качество вероятностных оценок. Ещё одна проблема — [[сдвиг распределения]]. Она возникает, когда распределение данных на этапе применения модели отличается от распределения обучающей выборки. В этом случае модель может сохранять видимость уверенности, хотя её предсказания становятся менее надёжными.<ref name="Ovadia2019">Ovadia Y., Fertig E., Ren J., Nado Z., Sculley D., Nowozin S., Dillon J. V., Lakshminarayanan B., Snoek J. Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift // ''Advances in Neural Information Processing Systems''. 2019.</ref> Для оценки неопределённости также применяются методы conformal prediction. Они позволяют строить предсказательные множества или интервалы с формальными гарантиями покрытия при относительно слабых предположениях о распределении данных.<ref name="AngelopoulosBates2023">Angelopoulos A. N., Bates S. Conformal Prediction: A Gentle Introduction // ''Foundations and Trends in Machine Learning''. 2023. Vol. 16, No. 4. P. 494–591. doi:10.1561/2200000101.</ref> == Связь с информацией и дивергенциями == Распределения вероятностей позволяют количественно описывать неопределённость и информацию. Одной из основных величин является энтропия дискретного распределения: :<tex>H(X)=-\sum_x p_X(x)\log p_X(x)</tex> Энтропия измеряет среднюю неопределённость случайной величины. Если один исход почти всегда реализуется, энтропия мала. Если много исходов имеют близкие вероятности, энтропия выше. Для сравнения распределений часто используется дивергенция Кульбака — Лейблера: :<tex>D_{KL}(P \parallel Q)=\sum_x p(x)\log \frac{p(x)}{q(x)}</tex> Эта величина показывает, насколько распределение <tex>Q</tex> отличается от распределения <tex>P</tex>, если <tex>P</tex> считать целевым. Она не является расстоянием в строгом математическом смысле, потому что обычно несимметрична. [[Взаимная информация]] измеряет, насколько знание одной случайной величины уменьшает неопределённость о другой. В анализе данных она применяется для изучения зависимости признаков, отбора признаков и оценки связи между представлениями. == Примеры распределений в задачах анализа данных == В прикладной работе выбор распределения зависит не только от математического удобства, но и от смысла данных. Если целевая переменная бинарна, например «кликнул пользователь или нет», естественной моделью является распределение Бернулли. Если нужно предсказать один из нескольких классов, используется категориальное распределение. Если моделируется число событий за интервал, например число обращений в службу поддержки за час, может использоваться распределение Пуассона. Если наблюдаемая величина является результатом большого числа малых независимых факторов, нормальное распределение часто служит разумным приближением. Однако распределение не следует выбирать механически. Реальные данные могут иметь тяжёлые хвосты, выбросы, асимметрию, зависимость между наблюдениями и сдвиг во времени. Поэтому в анализе данных выбор распределения должен проверяться эмпирически: через графики, диагностические проверки, качество предсказаний и устойчивость модели. == Распространённые ошибки == Одна из частых ошибок — смешивать выборку и распределение. Выборка является конечным набором наблюдений, а распределение — математической моделью процесса, который мог эти наблюдения породить. Вторая ошибка — считать плотность вероятности вероятностью. Для непрерывной случайной величины вероятность отдельной точки обычно равна нулю; вероятность имеет интервал, а не точка. Плотность нужна для вычисления вероятностей через площадь под графиком. Третья ошибка — интерпретировать высокую вероятность класса как гарантированную истинность ответа. Вероятность <tex>0.9</tex> означает высокую степень уверенности модели, но не исключает ошибки. Кроме того, сама вероятность может быть плохо откалибрована. Четвёртая ошибка — предполагать, что распределение обучающих данных совпадает с распределением будущих данных. В реальных системах это условие часто нарушается, поэтому модели требуют мониторинга, повторной проверки и иногда переобучения. == См. также == * [[вероятность]] * [[случайное событие]] * [[случайная величина]] * [[условная вероятность]] * [[формула Байеса]] * [[условная независимость]] * [[байесовская сеть]] * [[наивный байесовский классификатор]] * [[калибровка вероятностей]] * [[сдвиг распределения]] * [[взаимная информация]] * [[энтропия]] * [[метод максимального правдоподобия]] == Литература == <references/> [[Категория:Теория вероятностей]] [[Категория:Машинное обучение]] [[Категория:Анализ данных]]

Возврат к странице Распределение вероятностей.