Характеристические функции в теории вероятностей

Материал из MachineLearning.

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 14:25, 17 июля 2026 (MSD)

Содержание

1 Определение характеристической функции
2 Примеры вычисления
- 2.1 Биномиальное распределение
- 2.2 Экспоненциальное распределение
3 Основные свойства и их доказательства
4 Теоремы обращения и непрерывности
5 Применение для доказательств
- 5.1 Независимость компонент при некоррелированности
- 5.2 Замкнутость относительно аффинных преобразований
6 См. также
7 Литература

Определение характеристической функции

Пусть задано вероятностное пространство $(\Omega, \mathcal{F}, \mathbb{P})$ . Для скалярной случайной величины $X$ характеристической функцией называется комплекснозначная функция действительного аргумента $t \in \mathbb{R}$ , определяемая как математическое ожидание экспоненты от мнимой единицы, умноженной на $tX$ :

$\varphi_X(t) = \mathbb{E}\left[e^{itX}\right]$

В случае абсолютно непрерывного распределения с плотностью распределения $f_X(x)$ , характеристическая функция вычисляется как интеграл Лебега:

$\varphi_X(t) = \int_{-\infty}^{\infty} e^{itx} f_X(x) dx$

Для дискретной случайной величины, принимающей значения $x_k$ с вероятностями $p_k = \mathbb{P}(X = x_k)$ , формула принимает вид:

$\varphi_X(t) = \sum_{k} e^{itx_k} p_k$

Понятие естественным образом обобщается на случай многомерного случайного вектора $\mathbf{X} = (X_1, \dots, X_n)^T$ . Характеристическая функция вектора $\mathbf{X}$ является функцией векторного аргумента $\mathbf{t} = (t_1, \dots, t_n)^T \in \mathbb{R}^n$ :

$\varphi_{\mathbf{X}}(\mathbf{t}) = \mathbb{E}\left[e^{i \mathbf{t}^T \mathbf{X}}\right] = \mathbb{E}\left[ \exp\left( i \sum_{j=1}^n t_j X_j \right) \right]$

Геометрически и аналитически характеристическая функция с точностью до знака в показателе экспоненты совпадает с преобразованием Фурье распределения вероятностей случайной величины.

Примеры вычисления

Биномиальное распределение

Пусть $X \sim \mathrm{Bin}(n, p)$ . Дискретная случайная величина принимает значения $k \in \{0, 1, \dots, n\}$ с вероятностями $\mathbb{P}(X=k) = \binom{n}{k} p^k q^{n-k}$ , где $q = 1 - p$ . По определению:

$\varphi_X(t) = \sum_{k=0}^n e^{itk} \binom{n}{k} p^k q^{n-k} = \sum_{k=0}^n \binom{n}{k} (p e^{it})^k q^{n-k}$

Применяя формулу бинома Ньютона, получаем:

$\varphi_X(t) = (p e^{it} + q)^n$

Экспоненциальное распределение

Пусть $X \sim \mathrm{Exp}(\lambda)$ с плотностью $f_X(x) = \lambda e^{-\lambda x}$ при $x \ge 0$ . Вычислим интеграл:

$\varphi_X(t) = \int_{0}^{\infty} e^{itx} \lambda e^{-\lambda x} dx = \lambda \int_{0}^{\infty} e^{(it - \lambda)x} dx$

Поскольку действительная часть показателя степени $-\lambda < 0$ , предел на бесконечности равен нулю, и интегрирование дает:

$\varphi_X(t) = \lambda \left[ \frac{e^{(it - \lambda)x}}{it - \lambda} \right]_0^{\infty} = \frac{\lambda}{\lambda - it}$

Основные свойства и их доказательства

1. Значение в нуле и ограниченность. Для любой характеристической функции справедливо $\varphi_X(0) = 1$ и $|\varphi_X(t)| \le 1$ для всех $t \in \mathbb{R}$ . Доказательство: Значение в нуле тривиально: $\varphi_X(0) = \mathbb{E}[e^0] = 1$ . Ограниченность следует из свойств интеграла Лебега и того, что модуль комплексной экспоненты равен 1:

$|\varphi_X(t)| = \left| \mathbb{E}[e^{itX}] \right| \le \mathbb{E}\left[ |e^{itX}| \right] = \mathbb{E}[1] = 1$

2. Симметрия. Если $X$ — случайная величина, то $\varphi_{-X}(t) = \overline{\varphi_X(t)}$ . Доказательство:

$\varphi_{-X}(t) = \mathbb{E}[e^{-itX}] = \mathbb{E}[\cos(-tX) + i\sin(-tX)] = \mathbb{E}[\cos(tX) - i\sin(tX)] = \overline{\varphi_X(t)}$

3. Линейное преобразование. Для любых констант $a, b \in \mathbb{R}$ :

$\varphi_{aX+b}(t) = e^{itb} \varphi_X(at)$

Доказательство: Используя линейность математического ожидания:

$\mathbb{E}\left[e^{i(at)X + itb}\right] = e^{itb} \mathbb{E}\left[e^{i(at)X}\right] = e^{itb} \varphi_X(at)$

4. Характеристическая функция суммы независимых величин. Если $X$ и $Y$ — независимые случайные величины, то характеристическая функция их суммы равна произведению их характеристических функций. Доказательство: Поскольку $X$ и $Y$ независимы, функции $e^{itX}$ и $e^{itY}$ также независимы. Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий:

$\varphi_{X+Y}(t) = \mathbb{E}\left[e^{it(X+Y)}\right] = \mathbb{E}\left[e^{itX} e^{itY}\right] = \mathbb{E}\left[e^{itX}\right] \mathbb{E}\left[e^{itY}\right] = \varphi_X(t) \varphi_Y(t)$

Теоремы обращения и непрерывности

Фундаментальная роль характеристических функций обусловлена взаимно однозначным соответствием между распределениями вероятностей и их характеристическими функциями.

Теорема обращения Леви: Если известна характеристическая функция $\varphi_X(t)$ , распределение восстанавливается однозначно. В случае, когда $\int_{-\infty}^{\infty} |\varphi_X(t)| dt < \infty$ , случайная величина имеет абсолютно непрерывное распределение, и его плотность восстанавливается обратным преобразованием Фурье:

$f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx} \varphi_X(t) dt$

Теорема непрерывности Леви: Последовательность случайных величин $X_n$ слабо сходится к случайной величине $X$ тогда и только тогда, когда последовательность их характеристических функций $\varphi_{X_n}(t)$ сходится поточечно к характеристической функции $\varphi_X(t)$ , непрерывной в нуле.

Применение для доказательств

Характеристические функции являются мощным аналитическим инструментом. Рассмотрим их применение для строгого доказательства ключевых свойств гауссовских случайных векторов.

По определению, случайный вектор $\mathbf{X} \in \mathbb{R}^n$ имеет Многомерное нормальное распределение $\mathcal{N}(\mu, \Sigma)$ , если любая линейная комбинация его компонент распределена нормально. Характеристическая функция такого вектора имеет вид:

$\varphi_{\mathbf{X}}(\mathbf{t}) = \exp\left( i \mathbf{t}^T \mu - \frac{1}{2} \mathbf{t}^T \Sigma \mathbf{t} \right)$

где $\mu$ — вектор математических ожиданий, а $\Sigma$ — ковариационная матрица.

Независимость компонент при некоррелированности

Докажем, что если компоненты гауссовского вектора попарно некоррелированы, то они независимы в совокупности (свойство, не выполняющееся для распределений в общем виде).

Пусть $\mathbf{X} \sim \mathcal{N}(\mu, \Sigma)$ и компоненты вектора некоррелированы. Это означает, что ковариационная матрица $\Sigma$ является диагональной: $\Sigma = \mathrm{diag}(\sigma_1^2, \dots, \sigma_n^2)$ . Подставим эту матрицу в формулу характеристической функции:

$\mathbf{t}^T \Sigma \mathbf{t} = \sum_{j=1}^n t_j^2 \sigma_j^2$

$\varphi_{\mathbf{X}}(\mathbf{t}) = \exp\left( i \sum_{j=1}^n t_j \mu_j - \frac{1}{2} \sum_{j=1}^n t_j^2 \sigma_j^2 \right)$

Используя свойства экспоненты, разобьем выражение на произведение:

$\varphi_{\mathbf{X}}(\mathbf{t}) = \prod_{j=1}^n \exp\left( i t_j \mu_j - \frac{1}{2} t_j^2 \sigma_j^2 \right)$

Заметим, что множитель под произведением представляет собой характеристическую функцию одномерной гауссовской случайной величины $X_j \sim \mathcal{N}(\mu_j, \sigma_j^2)$ , вычисленную в точке $t_j$ . Таким образом:

$\varphi_{\mathbf{X}}(\mathbf{t}) = \prod_{j=1}^n \varphi_{X_j}(t_j)$

Поскольку совместная характеристическая функция распалась в произведение маргинальных характеристических функций, компоненты $X_1, \dots, X_n$ независимы.

Замкнутость относительно аффинных преобразований

Докажем, что линейное преобразование гауссовского вектора также является гауссовским вектором. Пусть задана матрица $A \in \mathbb{R}^{m \times n}$ и вектор $\mathbf{b} \in \mathbb{R}^m$ . Рассмотрим вектор $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$ . Вычислим его характеристическую функцию:

$\varphi_{\mathbf{Y}}(\mathbf{t}) = \mathbb{E}\left[ \exp\left(i \mathbf{t}^T (A\mathbf{X} + \mathbf{b})\right) \right] = \exp(i \mathbf{t}^T \mathbf{b}) \mathbb{E}\left[ \exp\left(i \mathbf{t}^T A\mathbf{X}\right) \right]$

Заметим, что $\mathbf{t}^T A = (A^T \mathbf{t})^T$ . Обозначим $\mathbf{s} = A^T \mathbf{t} \in \mathbb{R}^n$ . Тогда:

$\mathbb{E}\left[ \exp\left(i (A^T \mathbf{t})^T \mathbf{X}\right) \right] = \varphi_{\mathbf{X}}(\mathbf{s})$

Подставляем $\mathbf{s}$ в формулу характеристической функции для $\mathbf{X}$ :

$\varphi_{\mathbf{X}}(A^T \mathbf{t}) = \exp\left( i (A^T \mathbf{t})^T \mu - \frac{1}{2} (A^T \mathbf{t})^T \Sigma (A^T \mathbf{t}) \right)$

Проведя алгебраические преобразования в показателе экспоненты ( $(A^T \mathbf{t})^T \mu = \mathbf{t}^T A \mu$ и $(A^T \mathbf{t})^T \Sigma (A^T \mathbf{t}) = \mathbf{t}^T A \Sigma A^T \mathbf{t}$ ), получим итоговую характеристическую функцию:

$\varphi_{\mathbf{Y}}(\mathbf{t}) = \exp\left( i \mathbf{t}^T (A\mu + \mathbf{b}) - \frac{1}{2} \mathbf{t}^T (A \Sigma A^T) \mathbf{t} \right)$

Полученное выражение в точности совпадает с характеристической функцией многомерного нормального распределения с вектором средних $A\mu + \mathbf{b}$ и ковариационной матрицей $A \Sigma A^T$ . Доказательство завершено.

См. также

Литература

Ширяев А. Н. Вероятность. — М.: МЦНМО, 2004.
Боровков А. А. Теория вероятностей. — М.: Эдиториал УРСС, 1999.
Феллер В. Введение в теорию вероятностей и ее приложения. — М.: Мир, 1984.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A5%D0%B0%D1%80%D0%B0%D0%BA%D1%82%D0%B5%D1%80%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B8_%D0%B2_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9»