Характеристическая функция

Материал из MachineLearning.

Перейти к: навигация, поиск
Статья написана с использованием LLM DeepSeek и проверена участником Aliia Latipova 23:50, 16 июля 2026 (MSD)


Содержание

Определение и связь с преобразованием Фурье

Характеристическая функция (ХФ) случайной величины X с функцией распределения F_X(x) = \mathbb{P}(X \le x) определяется как математическое ожидание комплексной экспоненты:

\varphi_X(t) = \mathbb{E}\left[e^{itX}\right] = \int_{-\infty}^{\infty} e^{itx}\, dF_X(x), \qquad t \in \mathbb{R}.

Для абсолютно непрерывной случайной величины с плотностью f_X(x) ХФ представляет собой преобразование Фурье плотности (с точностью до знака в экспоненте):

\varphi_X(t) = \int_{-\infty}^{\infty} e^{itx} f_X(x)\, dx.

В общем случае интеграл понимается как интеграл Лебега–Стилтьеса по вероятностной мере, и ХФ существует для любой случайной величины, поскольку |e^{itX}|=1 и мера конечна. Это свойство является ключевым преимуществом перед производящей функцией моментов, которая требует существования экспоненциальных моментов.

Для случайного вектора \mathbf{X} = (X_1,\dots,X_d)^\top характеристическая функция определяется на \mathbb{R}^d:

\varphi_{\mathbf{X}}(\mathbf{t}) = \mathbb{E}\left[e^{i \langle \mathbf{t}, \mathbf{X} \rangle}\right] = \mathbb{E}\left[\exp\left(i\sum_{k=1}^d t_k X_k\right)\right], \qquad \mathbf{t} = (t_1,\dots,t_d)^\top \in \mathbb{R}^d.

Здесь \langle\cdot,\cdot\rangle — стандартное скалярное произведение. ХФ вектора является многомерным преобразованием Фурье–Стилтьеса совместного распределения.

Фундаментальные свойства

Ограниченность и равномерная непрерывность

Для любой случайной величины X и любого t \in \mathbb{R} выполнено |\varphi_X(t)| \le \varphi_X(0) = 1. Более того, характеристическая функция равномерно непрерывна на всей вещественной прямой[1]:

|\varphi_X(t+h) - \varphi_X(t)| \le \mathbb{E}\left|e^{ihX} - 1\right| \to 0 при h \to 0.

Это свойство гарантирует, что ХФ не имеет разрывов независимо от гладкости исходного распределения.

Неотрицательная определённость и теорема Бохнера–Хинчина

Характеристическая функция является неотрицательно определённой: для любых n \in \mathbb{N}, чисел t_1,\dots,t_n \in \mathbb{R} и комплексных чисел z_1,\dots,z_n выполняется

\sum_{j=1}^n \sum_{k=1}^n \varphi_X(t_j - t_k) z_j \overline{z_k} \ge 0.

Знаменитая теорема Бохнера–Хинчина устанавливает обратное: любая непрерывная в нуле неотрицательно определённая функция \varphi:\mathbb{R}\to\mathbb{C} с \varphi(0)=1 является характеристической функцией некоторой вероятностной меры. Этот критерий играет фундаментальную роль в доказательстве предельных теорем.

Связь с моментами и кумулянтами

Если у X существует абсолютный момент порядка n, \mathbb{E}|X|^n < \infty, то характеристическая функция n раз непрерывно дифференцируема, и её производные в нуле дают моменты:

\mathbb{E}[X^k] = (-i)^k \left.\frac{d^k \varphi_X(t)}{dt^k}\right|_{t=0}, \qquad k = 0,1,\dots,n.

Разложение в ряд Маклорена до порядка n записывается как

\varphi_X(t) = \sum_{k=0}^n \frac{(it)^k}{k!} \mathbb{E}[X^k] + o(t^n), \quad t \to 0.

Логарифм характеристической функции \psi_X(t) = \log \varphi_X(t) порождает кумулянты: \kappa_k = (-i)^k \psi^{(k)}(0). Кумулянтное разложение особенно удобно в методе моментов и при анализе сумм независимых величин.

Теорема единственности и формула обращения

Распределение случайной величины однозначно восстанавливается по её характеристической функции. Если \varphi_X(t) = \varphi_Y(t) для всех t, то X и Y одинаково распределены. Практическое восстановление даёт формула обращения (при условии \varphi_X \in L^1(\mathbb{R}) плотность f_X существует и непрерывна):

f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx} \varphi_X(t)\, dt.

В общем случае справедлива формула обращения для функции распределения (теорема Леви):

F_X(b) - F_X(a) = \lim_{T\to\infty} \frac{1}{2\pi} \int_{-T}^{T} \frac{e^{-ita} - e^{-itb}}{it} \varphi_X(t)\, dt,

где a,b — точки непрерывности F_X.

Теорема непрерывности (Леви)

Последовательность случайных величин X_n сходится по распределению к X (X_n \stackrel{d}{\to} X) тогда и только тогда, когда для каждого t их характеристические функции сходятся к характеристической функции X:

\varphi_{X_n}(t) \to \varphi_X(t) \quad \forall t \in \mathbb{R}.

Если предел \lim_{n\to\infty} \varphi_{X_n}(t) = \varphi(t) существует и функция \varphi непрерывна в нуле, то она является характеристической функцией некоторого распределения, и имеет место сходимость по распределению. Эта теорема — краеугольный камень доказательства Центральной предельной теоремы.

Связь с другими производящими функциями

  • Производящая функция моментов (МГФ) M_X(t) = \mathbb{E}[e^{tX}] требует существования экспоненциальных моментов и может быть не определена при t \neq 0 (например, для распределения Коши). ХФ \varphi_X(t) = M_X(it) всегда существует и, в отличие от МГФ, не требует аналитичности в окрестности нуля.
  • Производящая функция вероятностей (ПФВ) для целочисленных неотрицательных величин G_X(z) = \mathbb{E}[z^X] связана с ХФ соотношением \varphi_X(t) = G_X(e^{it}). ПФВ удобна для операций с дискретными распределениями, но ограничена своим классом.
  • Функция распределения даёт полное описание закона, но не обладает алгебраическими свойствами ХФ: свёртка распределений соответствует произведению характеристических функций, что делает ХФ основным инструментом анализа сумм независимых случайных величин.

Характеристические функции основных распределений

  • Нормальное \mathcal{N}(\mu,\sigma^2): :: \varphi(t) = \exp\left(i\mu t - \frac{1}{2}\sigma^2 t^2\right).
  • Экспоненциальное \mathrm{Exp}(\lambda), плотность f(x) = \lambda e^{-\lambda x} при x \ge 0: :: \varphi(t) = \frac{\lambda}{\lambda - it}.
  • Коши со сдвигом x_0 и масштабом \gamma > 0: :: \varphi(t) = \exp\left(i x_0 t - \gamma |t|\right). ХФ не дифференцируема в нуле, что отражает отсутствие моментов.
  • Пуассоновское \mathrm{Pois}(\lambda): :: \varphi(t) = \exp\left(\lambda(e^{it} - 1)\right).
  • Биномиальное \mathrm{Bin}(n, p): :: \varphi(t) = \left(1 - p + p e^{it}\right)^n.

Многомерный случай

Характеристическая функция случайного вектора \mathbf{X} \in \mathbb{R}^d унаследует все свойства одномерного случая: ограниченность (|\varphi_{\mathbf{X}}(\mathbf{t})| \le \varphi_{\mathbf{X}}(\mathbf{0}) = 1), равномерную непрерывность, неотрицательную определённость. Формула обращения в многомерном случае при \varphi_{\mathbf{X}} \in L^1(\mathbb{R}^d) даёт совместную плотность:

f_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi)^d} \int_{\mathbb{R}^d} e^{-i\langle \mathbf{t}, \mathbf{x} \rangle} \varphi_{\mathbf{X}}(\mathbf{t})\, d\mathbf{t}.

Характеристическая функция многомерного нормального вектора \mathcal{N}_d(\boldsymbol{\mu}, \boldsymbol{\Sigma}) имеет вид

\varphi_{\mathbf{X}}(\mathbf{t}) = \exp\left(i \langle\mathbf{t}, \boldsymbol{\mu}\rangle - \frac{1}{2} \langle\mathbf{t}, \boldsymbol{\Sigma} \mathbf{t}\rangle\right).

Здесь \boldsymbol{\mu} — вектор средних, \boldsymbol{\Sigma} — ковариационная матрица. Из этого представления следует, что любая линейная комбинация компонент имеет ХФ \varphi_{\langle\mathbf{a},\mathbf{X}\rangle}(s) = \varphi_{\mathbf{X}}(s\mathbf{a}), что даёт удобный способ работы с ковариационной структурой и частными распределениями.

Для условных распределений общая формула сложнее, но в случае совместной нормальности условная ХФ подвектора при фиксированных значениях другого подвектора также является ХФ многомерного нормального закона с параметрами, выражаемыми через блочное представление ковариационной матрицы.

Эмпирическая характеристическая функция и вычислительные аспекты

По выборке X_1,\dots,X_n из распределения F эмпирическая характеристическая функция (ЭХФ) определяется как

\hat{\varphi}_n(t) = \frac{1}{n}\sum_{j=1}^n e^{itX_j}.

ЭХФ является несмещённой оценкой истинной ХФ и сходится к ней почти наверное равномерно на компактных интервалах. Она служит основой для статистических процедур, не требующих предположений о параметрическом семействе распределений.

Численные методы: Для дискретных распределений с носителем на равномерной сетке вычисление ЭХФ на дискретном множестве частот t_k = 2\pi k / N эквивалентно дискретному преобразованию Фурье вектора вероятностей и может быть эффективно реализовано через Быстрое преобразование Фурье (БПФ) со сложностью O(N \log N). В непрерывном случае применяются квадратурные формулы и методы сглаживания для борьбы с осцилляциями при оценке плотности по обратному преобразованию.

Обращение ХФ является некорректно поставленной задачей: малые возмущения \hat{\varphi}_n(t) на высоких частотах могут приводить к большим ошибкам в восстановленной плотности. Для регуляризации используют ядерное сглаживание (демпфирование) с параметром размытости h:

\hat{f}_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx} \hat{\varphi}_n(t) K_{\text{ft}}(ht)\, dt,

где K_{\text{ft}} — преобразование Фурье ядерной функции. Этот подход тесно связан с ядерной оценкой плотности.

Применения в машинном обучении и анализе данных

Двухвыборочные тесты и расстояние энергии

Характеристическая функция лежит в основе свободных от распределения двухвыборочных тестов. Расстояние энергии (energy distance) между распределениями F и G выражается через интеграл от квадрата модуля разности их ХФ[1]:

\mathcal{E}(F,G) = \int_{\mathbb{R}^d} \frac{|\varphi_F(\mathbf{t}) - \varphi_G(\mathbf{t})|^2}{\|\mathbf{t}\|^{d+1}}\, d\mathbf{t}.

Выборочная версия этого расстояния приводит к тесту равенства распределений, состоятельному против любых альтернатив. В машинном обучении такие тесты применяются для валидации генеративных моделей, оценки сдвига распределения между обучающей и тестовой выборками, а также в задачах детекции дрейфа данных.

Воспроизводящие ядра и вложение распределений

Метод вложения распределений в воспроизводящее гильбертово пространство (kernel mean embedding) опирается на характеристические ядра. Ядро k(x,y) называется характеристическим, если отображение распределения F \mapsto \mu_F = \mathbb{E}_{X \sim F}[k(X,\cdot)] инъективно. Известно, что ядро является характеристическим тогда и только тогда, когда порождённое им преобразование Фурье не обращается в нуль почти всюду, что напрямую связывает свойство инъективности с поведением характеристических функций. На этой основе построены ядерный двухвыборочный тест (MMD) и ядерный тест независимости (HSIC), широко используемые в современной статистике и ML[1].

Устойчивые распределения и модели с тяжёлыми хвостами

Класс устойчивых распределений определяется замкнутостью относительно суммирования независимых копий и полностью описывается характеристической функцией:

\varphi(t) = \exp\left\{ i\mu t - c|t|^\alpha\left(1 - i\beta \,\text{sgn}(t) \tan\frac{\pi\alpha}{2}\right) \right\}, \quad \alpha \in (0,2], \, \beta \in [-1,1].

Такая форма не имеет замкнутой плотности (кроме отдельных случаев), но параметры \alpha,\beta,c,\mu удобно оценивать через ЭХФ. В финансовом ML и анализе редких событий (градиенты с тяжёлыми хвостами, логи активности пользователей) устойчивые модели превосходят гауссовские, а ХФ даёт естественный инструмент калибровки и симуляции.

Генеративные модели на основе ХФ

Характеристическая функция вводит метрику между распределениями без необходимости вычислять плотность. В генеративно-состязательных сетях (GAN) предложены Characteristic Function GAN (CF-GAN), где дискриминатор заменяется разностью эмпирических ХФ настоящих и сгенерированных данных в случайных точках t[1]. Целевая функция вида

\mathcal{L} = \int_{\mathbb{R}^d} |\hat{\varphi}_{\text{real}}(\mathbf{t}) - \hat{\varphi}_{\text{fake}}(\mathbf{t})|^2 \, d\mu(\mathbf{t})

обходит проблемы, связанные с обучением дискриминатора, и демонстрирует стабильную сходимость. Другие подходы (Implicit Generative Modeling via Characteristic Functions, моментные сети) также эксплуатируют связь ХФ с моментами и кумулянтами.

Байесовский вывод и вероятностное программирование

В вероятностном программировании (Pyro, Stan, TensorFlow Probability) вывод часто сводится к аппроксимации апостериорных распределений. Характеристическая функция используется в нескольких направлениях:

  • Приближённое обращение через спектральные методы: апостериорная плотность восстанавливается из эмпирической ХФ, полученной по MCMC-выборке, с помощью регуляризованного обратного Фурье.
  • Моментное сопряжение: в вариационном выводе с семействами устойчивых распределений оптимизация параметров приближённого распределения может проводиться путём минимизации расстояния между ХФ (например, характеристическое дивергенция).
  • Быстрое вычисление свёрток: в моделях с суммами латентных переменных ХФ позволяет заменить численное интегрирование плотностей умножением ХФ, что ускоряет расчёты в байесовских сетях со структурой сумм.

Преимущества и ограничения

Преимущества: универсальное существование, однозначная связь с распределением, алгебраическая простота свёрток, удобство в предельных теоремах, естественное обобщение на многомерный случай.

Ограничения: практическая интерпретация значений комплексной функции нетривиальна, численное обращение чувствительно к шуму, оценка ЭХФ на высоких частотах страдает от большой дисперсии, требующей аккуратного сглаживания. Кроме того, равенство ХФ на всей оси — сильное требование, которое в прикладных задачах заменяется расстояниями между ХФ, интегрированными по подходящей мере.

Литература

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A5%D0%B0%D1%80%D0%B0%D0%BA%D1%82%D0%B5%D1%80%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F»