Теорема универсальной аппроксимации

Материал из MachineLearning.

Статья написана с использованием LLM Qwen3.7-Plus и проверена участником Участник:Iurii Zhuravlev 21:10, 19 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:Теорема универсальной аппроксимации

Содержание

1 Историческая справка и мотивация
- 1.1 Математические предпосылки
- 1.2 Рождение теоремы для нейронных сетей
2 Математическая формулировка
- 2.1 Обобщения на современные архитектуры
3 Статистическая и ML-интерпретация
4 Ограничения и практические следствия
5 Практическое руководство для инженера
6 См. также
7 Примечания
8 Литература

Теорема универсальной аппроксимации (англ. Universal Approximation Theorem, UAT) — фундаментальный математический результат в теории искусственных нейронных сетей, утверждающий, что многослойный перцептрон (feedforward neural network) с одним скрытым слоем конечной ширины способен с любой заданной точностью аппроксимировать любую непрерывную функцию многих переменных на компактном подмножестве евклидова пространства.

Эта теорема является математическим обоснованием эффективности нейронных сетей и служит теоретическим фундаментом для всего современного глубокого обучения. Для инженеров и исследователей данных она объясняет, *почему* нейросети вообще способны решать сложные задачи, однако, что критически важно, она не гарантирует, что алгоритмы оптимизации (например, градиентный спуск) смогут *найти* нужные веса.

Историческая справка и мотивация

Математические предпосылки

Идея представления сложных функций через суперпозицию более простых уходит корнями в теорему Колмогорова-Арнольда (1957). Однако теорема Колмогорова-Арнольда гарантирует *точное* представление с использованием специфических, заранее заданных и немонотонных функций, что делало её неприменимой для построения обучаемых моделей напрямую.

Рождение теоремы для нейронных сетей

Прорыв в применении теории аппроксимации к нейронным сетям произошёл на рубеже 1980-х и 1990-х годов, в период «ренессанса» коннекционизма.

В 1989 году Джордж Cybenko опубликовал работу, в которой строго доказал, что двухслойная сеть (один скрытый слой) с сигмоидной функцией активации является универсальным аппроксиматором^[1]. Независимо от него Курт Хорник, Максимилиан Штахль и Маршалл Уайтбергер доказали аналогичный результат, сделав акцент на том, что универсальность обеспечивается не спецификой сигмоиды, а самой архитектурой сети с одним скрытым слоем^[1].

В 1991 году Курт Хорник обобщил свой результат, показав, что в качестве функции активации подходит *любая* непрерывная непостоянная функция, которая не является полиномом (включая ReLU, которая стала стандартом десятилетия спустя)^[1].

Математическая формулировка

Рассмотрим многослойный перцептрон с одним скрытым слоем. Выход такой сети описывается формулой:

$F(\mathbf{x}) = \sum_{i=1}^{N} \alpha_i \sigma(\mathbf{w}_i^T \mathbf{x} + b_i)$

где:

$\mathbf{x} \in \mathbb{R}^n$ — входной вектор признаков;
$N$ — количество нейронов в скрытом слое (ширина сети);
$\mathbf{w}_i \in \mathbb{R}^n$ — вектор весов $i$ -го нейрона;
$b_i \in \mathbb{R}$ — смещение (bias) $i$ -го нейрона;
$\alpha_i \in \mathbb{R}$ — вес выходного соединения $i$ -го нейрона;
$\sigma: \mathbb{R} \to \mathbb{R}$ — функция активации.

Теорема (в формулировке Хорника): Пусть $\sigma$ — любая непрерывная, ограниченная и строго монотонная функция (например, логистическая сигмоида $\sigma(z) = 1 / (1 + e^{-z})$ ). Тогда для любой непрерывной функции $f: K \to \mathbb{R}$ , определённой на компактном множестве $K \subset \mathbb{R}^n$ , и любого $\epsilon > 0$ , существует такое конечное число $N$ и такие параметры $\alpha_i, \mathbf{w}_i, b_i$ , что:

$\sup_{\mathbf{x} \in K} |F(\mathbf{x}) - f(\mathbf{x})| < \epsilon$

Обобщения на современные архитектуры

Изначальная теорема была доказана для сетей с одним скрытым слоем. Однако на практике почти всегда используются глубокие сети. Математически было показано, что: 1. Глубокие сети: Теорема универсальной аппроксимации справедлива и для глубоких сетей. Более того, было доказано, что для аппроксимации некоторых классов функций глубокие сети требуют экспоненциально меньшего числа нейронов, чем широкие (плоские) сети^[1]. 2. Функция ReLU: Теорема остается в силе для кусочно-линейных функций, таких как ReLU ( $\sigma(z) = \max(0, z)$ ), при условии, что скрытых слоев хотя бы два^[1]. 3. Другие архитектуры: Аналогичные теоремы были доказаны для рекуррентных нейронных сетей (RNN)^[1], свёрточных нейронных сетей (CNN) и, в определённых ограничениях, для трансформеров.

Статистическая и ML-интерпретация

Для студента и инженера по машинному обучению критически важно понимать разницу между математической аппроксимацией и статистическим обучением.

1. 1. Аппроксимация против Обучения

Теорема универсальной аппроксимации — это теорема *существования*. Она гарантирует, что в пространстве параметров сети *существует* набор весов, обеспечивающий нужную точность. Однако она ничего не говорит о том, сможет ли алгоритм оптимизации (например, стохастический градиентный спуск) найти этот набор весов за разумное время. Ландшафт функции потерь нейронной сети крайне нелинеен и невыпукл, что делает задачу поиска глобального минимума NP-трудной в общем случае.

1. 1. Ёмкость модели и переобучение

Чтобы аппроксимировать сложную функцию с высокой точностью ( $\epsilon \to 0$ ), согласно теореме, необходимо увеличивать число нейронов $N$ . В терминах статистического обучения, увеличение $N$ повышает VC-размерность (или ёмкость) модели.

Если ёмкость модели слишком велика по сравнению с объёмом обучающей выборки, модель начнёт «запоминать» шум в данных, а не выявлять истинные закономерности. Это явление известно как переобучение (overfitting). Таким образом, теорема универсальной аппроксимации объясняет, почему нейросети могут выучить что угодно, но именно статистическая теория обучения диктует необходимость использования регуляризации, ранней остановки и Dropout.

1. 1. Связь с непараметрической статистикой

С точки зрения статистики, нейронная сеть с одним скрытым слоем является формой ядерного сглаживания или сети радиальных базисных функций. Нейроны скрытого слоя выступают в роли базисных функций, которые «накрывают» пространство признаков, а выходной слой осуществляет их линейную комбинацию.

Ограничения и практические следствия

Несмотря на статус «универсального» инструмента, на практике инженеры сталкиваются с рядом ограничений, вытекающих из природы теоремы:

Проклятие размерности: Теорема не даёт оценок того, как быстро растёт $N$ при увеличении размерности входа $n$ . Для многих функций требуемое число нейронов растёт экспоненциально с ростом $n$ . Это объясняет, почему «наивное» применение широких сетей к данным высокой размерности (например, к пикселям изображения без использования сверток) неэффективно.
Спектральное смещение (Spectral Bias): Нейронные сети, обучаемые градиентными методами, имеют тенденцию в первую очередь изучать низкочастотные (гладкие) компоненты функции, и гораздо медленнее — высокочастотные. Это означает, что для аппроксимации функций с резкими локальными изменениями (например, разрывов или высокочастотных сигналов) стандартным MLP потребуются огромные вычислительные ресурсы.
Экстраполяция: Теорема гарантирует аппроксимацию только на компактном множестве $K$ (то есть в области, где были данные при обучении). Нейронные сети notoriously плохо справляются с экстраполяцией — предсказанием за пределами обучающего распределения.

Практическое руководство для инженера

Как использовать понимание теоремы универсальной аппроксимации в ежедневной работе:

Не бойтесь увеличивать ширину сети: Если ваша модель недообучается (high bias) на тренировочных данных, теорема гарантирует, что добавление нейронов в скрытый слой увеличит её аппроксимирующую способность.
Помните про глубину: Если вам нужно моделировать сложные иерархические зависимости (например, в NLP или Computer Vision), не пытайтесь решить задачу одной широкой сетью. Используйте глубину — это математически более эффективный путь увеличения аппроксимирующей способности.
Балансируйте с регуляризацией: Помните, что способность сети выучить *любую* функцию означает, что она с равным успехом выучит и идеальный сигнал, и случайный белый шум. Всегда используйте валидационные выборки и методы регуляризации, чтобы ограничить «универсальность» сети в пользу обобщающей способности.

См. также

Примечания

Литература

Cybenko G. Approximation by superpositions of a sigmoidal function // Mathematics of Control, Signals and Systems. — 1989. — Vol. 2, no. 4. — P. 303-314.
Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators // Neural Networks. — 1989. — Vol. 2, no. 5. — P. 359-366.
Hornik K. Approximation capabilities of multilayer feedforward networks // Neural Networks. — 1991. — Vol. 4, no. 2. — P. 251-257.
Lu Z., Pu H., Wang F., Hu Z., Wang L. The expressive power of neural networks: A view from the width // Advances in Neural Information Processing Systems (NeurIPS). — 2017. — Vol. 30.
Telgarsky M. Benefits of depth in neural networks // Conference on Learning Theory (COLT). — 2016. — P. 1517-1539.
Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016. — 800 p. (Раздел 6.4.1: Universal Approximation Properties).

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A2%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0_%D1%83%D0%BD%D0%B8%D0%B2%D0%B5%D1%80%D1%81%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%B0%D0%BF%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D0%B8»