Стохастическое дифференциальное уравнение

Материал из MachineLearning.

Версия от 05:21, 15 июля 2026; Roman Iuкharev (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM ChatGPT 5.6 Sol - xhigh и проверена участником Юхарев Роман Андреевич 19:55 14 июля 2026.


Содержание

Стохастическое дифференциальное уравнение (СДУ, англ. stochastic differential equation, SDE) — уравнение, задающее динамику случайного процесса с помощью детерминированного изменения и случайного воздействия, представленного стохастическим интегралом. В наиболее распространённом случае источником случайности служит винеровский процесс.. СДУ применяются для описания диффузии, случайных динамических систем и финансовых процессов, а в машинном обучении — для анализа стохастической оптимизации, сэмплирования методом Ланжевена и построения диффузионных генеративных моделей.

Определение

СДУ Ито в d-мерном пространстве записывают как

dX_t=b(X_t,t)\,dt+\sigma(X_t,t)\,dW_t,\qquad X_0\sim p_0.

Здесь X_t\in\mathbb R^d — случайный процесс, b — коэффициент сноса (drift), \sigma — матрица диффузии, а W_t — многомерный Винеровский процесс. Дифференциальная запись является сокращением интегрального уравнения

X_t=X_0+\int_0^t b(X_s,s)\,ds+\int_0^t\sigma(X_s,s)\,dW_s.

Второй интеграл понимается как стохастический интеграл Ито. Приращения винеровского процесса независимы от прошлого и распределены как

W_{t+h}-W_t\sim\mathcal N(0,hI).

Поэтому их типичный масштаб пропорционален \sqrt h, а не h. Траектории W_t почти наверное непрерывны, но нигде не дифференцируемы в обычном смысле; формальный символ dW_t/dt нельзя трактовать как обычную функцию.

Условия существования и единственности зависят от принятого понятия решения. Глобальная липшицевость b,\sigma по состоянию и условие линейного роста являются стандартными достаточными, но не необходимыми условиями существования единственного сильного решения.

Исчисление Ито

Для обычного дифференциального уравнения правило цепочки не содержит второй производной. Для процесса

dX_t=b(X_t,t)dt+\sigma(X_t,t)dW_t

формула Ито для гладкой функции f(x,t) в одномерном случае имеет вид

df(X_t,t)=\left(f_t+b f_x+\frac{1}{2}\sigma^2 f_{xx}\right)dt+\sigma f_x\,dW_t.

Дополнительный член возникает из квадратичной вариации (dW_t)^2=dt. Он принципиален, например, при преобразовании переменных и выводе уравнения для плотности.

Другая распространённая договорённость — интеграл Стратоновича, обозначаемый \circ dW_t. В одном измерении уравнение

dX_t=a(X_t,t)dt+c(X_t,t)\circ dW_t

эквивалентно СДУ Ито со сносом

b(x,t)=a(x,t)+\frac{1}{2}c(x,t)\frac{\partial c(x,t)}{\partial x}.

Поэтому одинаковая символическая запись шума без указания соглашения может задавать разные процессы. В задачах машинного обучения обычно подразумевают форму Ито.

Уравнение Фоккера — Планка

Если p(x,t) — плотность распределения X_t, то при достаточной гладкости она удовлетворяет прямому уравнению Колмогорова, или уравнению Фоккера — Планка:

\frac{\partial p}{\partial t}=-\sum_i\frac{\partial}{\partial x_i}(b_i p)+\frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial x_i\partial x_j}(A_{ij}p),

где

A(x,t)=\sigma(x,t)\sigma(x,t)^{\mathsf T}.

СДУ описывает случайные траектории, а уравнение Фоккера — Планка — детерминированную эволюцию их распределения. Граничные условия и поведение коэффициентов определяют, существует ли стационарная плотность.

Численное решение

Простейшая дискретизация СДУ Ито — схема Эйлера — Маруямы. Для шага h

X_{k+1}=X_k+b(X_k,t_k)h+\sigma(X_k,t_k)\sqrt h\,\xi_k,

где \xi_k\sim\mathcal N(0,I) независимы. Случайный член имеет порядок \sqrt h; замена его на величину порядка h задаёт другую дискретизацию.

При стандартных условиях схема Эйлера — Маруямы имеет сильный порядок сходимости 1/2 для общего СДУ. Сильная сходимость измеряет ошибку траекторий при общем источнике шума, а слабая — ошибку ожиданий тестовых функций. Порядки могут различаться. Для жёстких уравнений, неглобально липшицевых коэффициентов и требований к инвариантному распределению нужны специальные схемы.[1]

Динамика Ланжевена

Передемпфированная динамика Ланжевена для потенциала U(x) записывается как

dX_t=-\nabla U(X_t)dt+\sqrt{2T}\,dW_t,

где T>0 играет роль температуры. При подходящих условиях стационарная плотность равна

\pi(x)=\frac{1}{Z}\exp\left(-\frac{U(x)}{T}\right).

Если требуется получать выборки из плотности \pi(x)\propto\exp(-U(x)), выбирают T=1. Дискретизация с постоянным шагом даёт unadjusted Langevin algorithm:

X_{k+1}=X_k-h\nabla U(X_k)+\sqrt{2h}\,\xi_k.

Конечный шаг вносит смещение в стационарное распределение. Его можно уменьшать, корректировать шагом Метрополиса или анализировать как часть приближённого алгоритма.

Стохастическая градиентная динамика Ланжевена

Для байесовского posterior p(\theta\mid D)\propto p(D\mid\theta)p(\theta) градиент логарифма по большой выборке дорого вычислять целиком. Stochastic Gradient Langevin Dynamics (SGLD) заменяет его несмещённой мини-пакетной оценкой \widehat g_k и добавляет гауссовский шум:

\theta_{k+1}=\theta_k+\frac{\varepsilon_k}{2}\widehat g_k+\sqrt{\varepsilon_k}\,\xi_k.

При убывающих шагах и дополнительных условиях влияние ошибки дискретизации исчезает, а итерации используются для приближения posterior.[1] На практике конечное время, ненулевая скорость обучения, коррелированные выборки и неточный градиент приводят к приближению, которое следует диагностировать как алгоритм сэмплирования, а не только как оптимизатор.

SGD как случайный процесс

Обновление SGD можно представить как

\theta_{k+1}=\theta_k-\eta\left(\nabla L(\theta_k)+\zeta_k\right),

где \zeta_k — ошибка мини-пакетного градиента с условным средним, близким к нулю. При малом шаге и регулярных предположениях дискретную динамику можно приближать СДУ, например

d\theta_t=-\nabla L(\theta_t)dt+\sqrt\eta\,B(\theta_t)dW_t,

где B(\theta)B(\theta)^{\mathsf T} аппроксимирует ковариацию шума градиента. Метод стохастических модифицированных уравнений формализует слабые приближения такого типа.[1]

Эту связь нельзя понимать буквально без условий:

  • шум мини-пакетов обычно не изотропен и зависит от \theta;
  • его распределение не обязано быть гауссовским;
  • ковариация зависит от размера пакета и способа выборки;
  • импульс и адаптивные оптимизаторы требуют расширенного состояния;
  • изменение скорости обучения меняет и снос, и эффективную диффузию.

Около устойчивого минимума постоянный малый шаг SGD иногда приближают процессом Орнштейна — Уленбека и изучают его стационарную ковариацию. В рамках дополнительных локальных и гауссовских предположений параметры SGD можно настраивать так, чтобы это распределение приближало байесовское posterior.[1] Обычный SGD сам по себе не является универсальным точным байесовским сэмплером.

Диффузионные модели

В score-based представлении диффузионной модели прямой процесс постепенно добавляет шум к данным:

dX_t=f(X_t,t)dt+g(t)dW_t,\qquad X_0\sim p_{\mathrm{data}}.

К моменту T распределение p_T выбирают близким к простому, например гауссовскому. При достаточной регулярности соответствующий обратный по времени процесс имеет снос, зависящий от score — градиента логарифма текущей плотности:

dX_t=\left[f(X_t,t)-g(t)^2\nabla_x\log p_t(X_t)\right]dt+g(t)d\overline W_t,

где время интегрируется от T к 0, а \overline W_t — винеровский процесс в обратном времени. Общая теория обратных диффузий была разработана до современных генеративных моделей.[1]

Плотность p_t неизвестна, поэтому нейронную сеть s_\phi(x,t) обучают приближать

s_\phi(x,t)\approx\nabla_x\log p_t(x).

После обучения образцы генерируют численным интегрированием обратного СДУ из шума. Существует также детерминированное probability-flow ODE с теми же одномоментными маргинальными распределениями. Формулировка через СДУ объединяет ряд дискретных диффузионных и score-based моделей.[1]

Типичные ошибки

  • Символ dW_t считают обычной производной. Стохастический интеграл задаётся как предел случайных сумм и требует выбранного соглашения.
  • Путают формы Ито и Стратоновича. При зависящей от состояния диффузии переход меняет снос.
  • В схеме Эйлера шум умножают на h. Винеровское приращение имеет масштаб \sqrt h.
  • Любой SGD объявляют динамикой Ланжевена. Шум мини-пакетов имеет собственную ковариацию; для сэмплирования нужны дополнительные условия или явно добавленный шум.
  • Дискретизацию считают точным стационарным процессом. Постоянный конечный шаг обычно создаёт смещение.
  • Обратное СДУ запускают без указания направления времени. В формуле обратной диффузии dt соответствует интегрированию от T к нулю.

См. также

Примечания

Литература

  • Øksendal B. Stochastic Differential Equations: An Introduction with Applications. 6th ed. Springer, 2003.
  • Kloeden P. E., Platen E. Numerical Solution of Stochastic Differential Equations. Springer, 1992.
  • Welling M., Teh Y. W. Bayesian Learning via Stochastic Gradient Langevin Dynamics // Proceedings of ICML. 2011. P. 681–688.
  • Mandt S., Hoffman M. D., Blei D. M. Stochastic Gradient Descent as Approximate Bayesian Inference // Journal of Machine Learning Research. 2017. Vol. 18, No. 134. P. 1–35.
  • Song Y. et al. Score-Based Generative Modeling through Stochastic Differential Equations // International Conference on Learning Representations. 2021.
Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%BE%D1%85%D0%B0%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%83%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5»