Многозадачное обучение

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Версия 11:16, 16 июля 2026

Содержание

1 Введение и определение
2 Математическая постановка задачи
- 2.1 Минимизация совместного эмпирического риска
3 Базовые архитектуры MTL в глубоком обучении
- 3.1 Жесткое разделение параметров (Hard Parameter Sharing)
- 3.2 Мягкое разделение параметров (Soft Parameter Sharing)
4 Продвинутые архитектуры: MMoE
5 Проблемы MTL и методы их решения
6 Теоретическое обоснование: почему работает MTL
7 Применение в индустрии
8 Литература
9 См. также

Статья написана с использованием LLM и проверена участником Dmitrii Vishovan 15:01, 16 июля 2026 (MSD)

Введение и определение

Многозадачное обучение (англ. Multi-Task Learning, MTL) — это парадигма машинного обучения, при которой одна модель обучается решать несколько связанных задач одновременно, используя общее представление данных (shared representation).

В классическом машинном обучении (Single-Task Learning) для каждой задачи строится отдельная независимая модель. В MTL модель оптимизирует единую функцию потерь, объединяющую ошибки всех задач. Цель многозадачного обучения состоит в том, чтобы улучшить обобщающую способность модели и качество предсказаний для каждой отдельной задачи за счет знаний, извлеченных из других задач.

Интуитивно: Когда человек учится управлять мотоциклом, ему сильно помогает тот факт, что он уже умеет держать равновесие на велосипеде и знает правила дорожного движения из опыта вождения автомобиля. Разные, но связанные навыки усиливают друг друга. В машинном обучении, если мы учим нейросеть предсказывать возраст человека по фотографии, параллельное обучение её предсказывать пол и эмоции заставит сеть лучше выделять ключевые черты лица (глаза, морщины, текстуру кожи), что повысит точность предсказания возраста.

Математическая постановка задачи

Пусть задано множество из $T$ связанных задач машинного обучения, проиндексированных как $t \in \{1, \dots, T\}$ . Для каждой задачи $t$ доступна обучающая выборка $D_t = \{(x_{i}^t, y_{i}^t)\}_{i=1}^{N_t}$ , где $N_t$ — объем выборки для задачи $t$ . Пространство входных признаков $\mathcal{X}$ зачастую предполагается общим для всех задач (хотя существуют постановки с асимметричными признаковыми пространствами), в то время как пространства ответов $\mathcal{Y}_t$ могут существенно различаться в зависимости от типа решаемой задачи (например, $\mathcal{Y}_1 = \{0, 1\}$ для бинарной классификации и $\mathcal{Y}_2 = \mathbb{R}$ для регрессии).

Модель многозадачного обучения формализуется как семейство функций $f_t: \mathcal{X} \to \mathcal{Y}_t$ , параметризованных вектором (или тензором) весов $\Theta$ . Вектор параметров структурно декомпозируется на общую и специфичные компоненты:

$\Theta = \Theta_{sh} \cup \{\Theta_1, \dots, \Theta_T\}$ .

Математически процесс вывода (инференса) для конкретной задачи $t$ можно представить как суперпозицию двух отображений:

$\hat{y}^t = f_t(x; \Theta) = h_t(g(x; \Theta_{sh}); \Theta_t)$ ,

где:

$g(\cdot; \Theta_{sh}): \mathcal{X} \to \mathbb{R}^d$ — функция извлечения универсальных признаков (shared representation), переводящая исходный объект в $d$ -мерное латентное пространство.
$h_t(\cdot; \Theta_t): \mathbb{R}^d \to \mathcal{Y}_t$ — функция-предиктор («голова» задачи), которая формирует итоговое предсказание на основе извлеченных скрытых признаков.

Минимизация совместного эмпирического риска

В рамках парадигмы минимизации эмпирического риска (ERM), обучение модели сводится к поиску оптимальных параметров $\hat{\Theta}$ , минимизирующих глобальный функционал качества. Этот функционал представляет собой выпуклую комбинацию эмпирических рисков отдельных задач с добавлением регуляризационного члена:

$\mathcal{L}_{total}(\Theta) = \sum_{t=1}^T w_t \mathcal{L}_t(f_t(X^t; \Theta), Y^t) + \lambda \mathcal{R}(\Theta) \to \min_{\Theta}$

где:

$\mathcal{L}_t$ — дифференцируемая функция потерь для задачи $t$ (например, кросс-энтропия для классификации или среднеквадратичная ошибка для регрессии);
$w_t \ge 0$ — весовые коэффициенты, определяющие относительную значимость задачи $t$ в процессе оптимизации. В современных архитектурах $w_t$ могут быть не просто константами, а обучаемыми параметрами, динамически адаптирующимися в процессе градиентного спуска (адаптивное взвешивание).
$\mathcal{R}(\Theta)$ — член регуляризации, накладывающий структурные ограничения на веса модели. В контексте MTL часто используются специализированные матричные нормы (например, ядерная норма или групповое LASSO / $L_{2,1}$ -норма) для принудительного отбора признаков, полезных сразу для нескольких задач.
$\lambda$ — гиперпараметр, контролирующий силу регуляризации.

Базовые архитектуры MTL в глубоком обучении

В контексте глубоких нейронных сетей архитектуры многозадачного обучения традиционно классифицируются на основе топологии распределения параметров и методов передачи информации (information routing) между задачами.

Жесткое разделение параметров (Hard Parameter Sharing)

Это наиболее распространенный и вычислительно эффективный подход, исторически берущий начало в ранних работах по MTL (Caruana, 1993). В данной архитектуре первые несколько скрытых слоев нейросети (feature extractors) являются строго общими для всех задач, а на вершине сети формируются независимые предсказывающие «головы» (task-specific heads).

Формально, для входного вектора $x$ извлекается общее скрытое представление (латентный вектор) $h = g(x; \Theta_{sh})$ . Затем каждая задача $t$ использует свою специфичную функцию $f_t$ для формирования итогового прогноза:

$\hat{y}^t = f_t(h; \Theta_t)$

Теоретическое обоснование: С позиций статистической теории обучения (Baxter, 1997), жесткое разделение параметров кардинально снижает риск переобучения. Разделение параметров уменьшает эффективную емкость модели (например, VC-размерность) в пересчете на одну задачу. Чем больше задач решается одновременно, тем сложнее модели запомнить специфичный шум в данных для одной конкретной выборки, так как общее представление $h$ обязано быть универсальным и удовлетворять градиентам всех функций потерь.
Преимущества: Существенная экономия памяти и вычислительных ресурсов при инференсе; высокая устойчивость к переобучению, особенно при малых объемах обучающей выборки для отдельных задач.
Недостатки: Подход эффективен, только если задачи имеют сильную структурную корреляцию. В случае слабо связанных или конкурирующих задач возникает эффект отрицательного переноса (Negative Transfer), когда градиентная оптимизация под одну задачу разрушает полезные признаки, извлеченные для другой.

Мягкое разделение параметров (Soft Parameter Sharing)

Для преодоления проблемы отрицательного переноса был предложен подход, в котором каждая задача имеет свою собственную, независимую ветвь нейронной сети со своим набором параметров $\Theta_t$ . Связь между задачами обеспечивается не жестким слиянием узлов, а мягким параметрическим обменом информацией между скрытыми слоями разных ветвей.

Математически это реализуется двумя основными путями:

Регуляризация параметров: В общую функцию потерь вводится штраф за чрезмерное расхождение тензоров весов разных сетей. Например, используется $L_2$ -расстояние:

$\Omega(\Theta) = \lambda \sum_{i \neq j} ||\Theta_i - \Theta_j||_2^2$

или регуляризация на основе ядерной нормы (Trace Norm) для поощрения низкоранговой структуры матриц весов, что заставляет модели обучаться похожим признакам.

Смешивание активаций (Feature Fusion): В архитектурах типа Cross-Stitch Networks или Sluice Networks скрытые представления (feature maps) разных задач на слое $l$ линейно комбинируются перед подачей на следующий слой $l+1$ . Для случая двух задач активация вычисляется как:

$\begin{bmatrix} \tilde{h}_1^{l+1} \\ \tilde{h}_2^{l+1} \end{bmatrix} = \begin{bmatrix} \alpha_{11} & \alpha_{12} \\ \alpha_{21} & \alpha_{22} \end{bmatrix} \begin{bmatrix} h_1^l \\ h_2^l \end{bmatrix}$

где матрица коэффициентов $\alpha$ обучается совместно с сетью методом градиентного спуска. Это позволяет модели самостоятельно решать, какую долю признаков из «соседней» задачи стоит позаимствовать, а какую — проигнорировать.

Преимущества: Высочайшая алгоритмическая гибкость. Модель способна избежать интерференции, автоматически «изолируя» ветви (например, устремляя перекрестные веса $\alpha_{12}$ и $\alpha_{21}$ к нулю), если задачи оказываются ортогональными или конфликтующими.
Недостатки: Резкое (пропорциональное количеству задач) увеличение числа обучаемых параметров и вычислительной сложности, что делает этот подход крайне ресурсоемким при масштабировании на десятки задач.

Продвинутые архитектуры: MMoE

Для решения проблемы конфликтующих задач (когда улучшение метрик одной задачи ведет к деградации другой — эффект интерференции градиентов или Negative Transfer), в 2018 году исследователи из Google предложили архитектуру MMoE (Multi-gate Mixture-of-Experts).

Она элегантно адаптирует классическую концепцию Mixture-of-Experts (MoE) для нужд многозадачного обучения. Если в жестком разделении параметров (Hard Parameter Sharing) используется один монолитный экстрактор признаков, то MMoE декомпозирует общее латентное пространство на несколько параллельных и независимых подсетей — «экспертов». Маршрутизация информации между экспертами и финальными задачами динамически управляется специфичными для каждой задачи шлюзами (Gating Networks).

Формальное описание MMoE

Пусть архитектура содержит $E$ экспертных нейронных сетей и решает $T$ задач.

Каждая экспертная сеть представляет собой параметризованную функцию $f_i(x; \theta_i)$ , где $i \in \{1, \dots, E\}$ , отображающую входной вектор $x$ в латентное представление размерности $d$ .
Для каждой задачи $t \in \{1, \dots, T\}$ обучается независимая шлюзовая сеть $g^t(x; W_g^t)$ . На практике она чаще всего реализуется как линейное преобразование с последующим применением функции Softmax:

$g^t(x) = \operatorname{Softmax}(W_g^t x)$

Вектор $g^t(x) \in \mathbb{R}^E$ задает вероятностное распределение, компоненты которого $g^t_i(x)$ определяют вес (релевантность) выхода $i$ -го эксперта для решения задачи $t$ на конкретном объекте $x$ .

Сводное латентное представление $h^t(x)$ , подаваемое на вход специфичной для задачи $t$ части сети, формируется как выпуклая комбинация выходов всех экспертов:

$h^t(x) = \sum_{i=1}^E g^t_i(x) \cdot f_i(x; \theta_i)$

Итоговый прогноз вычисляется узкоспециализированной подсетью («головой») $head^t$ , принимающей на вход агрегированный вектор:

$\hat{y}^t = head^t(h^t(x); \phi_t)$

Преимущества и математическая изоляция конфликтов

Адаптивная маршрутизация признаков: В отличие от статического разделения слоев, функция шлюза $g^t(x)$ выступает в роли механизма мягкого внимания (soft attention) над латентным пространством экспертов. Это означает, что для одного объекта (например, профиля пользователя с долгой историей) система может сделать упор на Эксперта №1, а для нового пользователя — на Эксперта №2, динамически перестраивая топологию графа вычислений под структуру данных.
Блокировка интерференции градиентов: Если две задачи имеют ортогональные или противоречивые цели, в процессе обучения их шлюзы $g^t$ могут сойтись к непересекающимся распределениям. В процессе обратного распространения ошибки (backpropagation), градиент функции потерь $\mathcal{L}_t$ по параметрам $i$ -го эксперта масштабируется на величину веса шлюза $g^t_i(x)$ . Если задача $t$ «отключает» эксперта $i$ ( $g^t_i(x) \to 0$ ), то поток конфликтных градиентов через этого эксперта математически блокируется. Это предотвращает деградацию общих весов.

Архитектура MMoE стала де-факто индустриальным стандартом в высоконагруженных рекомендательных системах (например, для одновременного предсказания вероятности клика CTR и конверсии CVR).

Феномен «качелей» и архитектура PLE

Несмотря на гибкость MMoE, на практике при сильном конфликте задач часто наблюдается феномен «качелей» (seesaw phenomenon) — ситуация в многозадачной оптимизации, когда улучшение метрик одной задачи неизбежно приводит к деградации другой. В MMoE это происходит из-за того, что все эксперты принципиально разделяемы (shared), и шлюзам бывает сложно провести строгую границу между общими и специфичными знаниями, что ведет к паразитному просачиванию градиентов.

Для фундаментального решения этой проблемы исследователи из Tencent (2020) предложили архитектуру PLE (Progressive Layered Extraction), базовым строительным блоком которой является модуль CGC (Customized Gate Control).

В отличие от MMoE, множество экспертов в CGC ортогонализуется: оно явно разбивается на подмножество общих экспертов $E_{sh}$ и подмножества экспертов, специфичных для каждой отдельной задачи $E_{t}$ .

Формально, для задачи $t$ шлюз $g^t$ агрегирует выходы только из объединения общих и своих собственных специфичных экспертов (селективное маршрутизирование):

$S^t = E_{sh} \cup E_t$

Вектор агрегированного представления для задачи $t$ принимает вид:

$h^t(x) = \sum_{e \in S^t} g^t_e(x) \cdot f_e(x; \theta_e)$

Многоуровневость архитектуры (Progressive Layering) достигается за счет последовательного наслаивания модулей CGC друг на друга. На глубоких слоях общие эксперты следующего уровня комбинируют информацию от всех экспертов предыдущего уровня, в то время как специфичные эксперты извлекают информацию только из общих и "своих" специфичных экспертов прошлого слоя. Такая строгая математическая изоляция позволяет PLE постепенно извлекать как высокоуровневые универсальные абстракции, так и узкоспециализированные признаки, полностью исключая феномен «качелей».

Проблемы MTL и методы их решения

Главным фундаментальным вызовом в многозадачном обучении является феномен отрицательного переноса (Negative Transfer). Он возникает, когда совместное обучение нескольким задачам приводит к ухудшению качества по сравнению с обучением независимых моделей.

Основная причина этого явления — градиентная интерференция (Gradient Interference). Математически это выражается в том, что векторы градиентов от функций потерь разных задач по отношению к общим параметрам $\Theta_{sh}$ указывают в противоположные стороны. Если для задач $i$ и $j$ скалярное произведение их градиентов отрицательно:

$\langle \nabla_{\Theta_{sh}} \mathcal{L}_i, \nabla_{\Theta_{sh}} \mathcal{L}_j \rangle < 0$ ,

то шаг градиентного спуска, улучшающий задачу $i$ , неизбежно будет ухудшать (разрушать) параметры для задачи $j$ .

Для преодоления этой проблемы разработано семейство методов, которые динамически корректируют либо веса задач $w_t$ , либо сами векторы градиентов в процессе оптимизации.

1. Устранение неопределенности (Uncertainty Weighting)

Метод, предложенный Kendall et al. (2018), опирается на байесовский вывод. Авторы предложили взвешивать задачи на основе их гомоскедастичной неопределенности (внутреннего уровня шума задачи, не зависящего от конкретных входных данных).

Вместо ручного подбора констант $w_t$ , для каждой задачи вводится обучаемый параметр дисперсии $\sigma_t$ . Максимизация совместного правдоподобия (Maximum Likelihood Estimation) для гауссовских (регрессия) или софтмакс (классификация) распределений приводит к следующей функции потерь:

$\mathcal{L}(\Theta, \sigma_1, \dots, \sigma_T) = \sum_{t=1}^T \left( \frac{1}{2\sigma_t^2}\mathcal{L}_t(\Theta) + \log \sigma_t \right)$

Физический смысл: Если задача $t$ сильно зашумлена, оптимизатор увеличит $\sigma_t$ , что автоматически уменьшит эффективный вес этой задачи $w_t = \frac{1}{2\sigma_t^2}$ , не позволяя её шумным градиентам разрушать общие веса. Слагаемое $\log \sigma_t$ выступает регуляризатором, не позволяющим дисперсиям уйти в бесконечность.

2. Нормализация градиентов (GradNorm)

Алгоритм GradNorm (Chen et al., 2018) решает проблему доминирования задач с крутыми градиентами над задачами с пологими градиентами. Метод динамически настраивает веса $w_t$ так, чтобы уравнять нормы градиентов всех задач, учитывая при этом скорости их обучения.

Пусть $G_W^{(t)}(k) = || \nabla_W (w_t \mathcal{L}_t) ||_2$ — $L_2$ -норма градиента задачи $t$ по весам последнего общего слоя $W$ на шаге $k$ . Средняя норма всех градиентов обозначается как $\bar{G}_W(k)$ . Алгоритм вводит относительную обратную скорость обучения задачи $r_t(k)$ (чем быстрее падает лосс задачи относительно своего начального значения $\mathcal{L}_t(0)$ , тем меньше этот коэффициент). Веса $w_t$ обновляются путем минимизации вспомогательной функции потерь $L_{grad}$ :

$L_{grad}(k) = \sum_{t=1}^T \left| G_W^{(t)}(k) - \bar{G}_W(k) \times [r_t(k)]^\alpha \right|_1 \to \min_{w_t}$

где $\alpha$ — гиперпараметр, задающий силу возврата к среднему (restoring force).

3. Проецирование конфликтующих градиентов (PCGrad)

В отличие от предыдущих методов, работающих со скалярными весами, метод PCGrad (Projecting Conflicting Gradients, Yu et al., 2020) напрямую изменяет геометрию векторов градиентов, делая их ортогональными в случае конфликта (surgery on gradients).

Пусть $g_i = \nabla_{\Theta_{sh}} \mathcal{L}_i$ и $g_j = \nabla_{\Theta_{sh}} \mathcal{L}_j$ . На каждом шаге алгоритм проверяет скалярное произведение пар градиентов. Если $\langle g_i, g_j \rangle < 0$ (угол больше 90°, задачи конфликтуют), градиент $g_i$ проецируется на нормаль к градиенту $g_j$ :

$g_i^* = g_i - \frac{\langle g_i, g_j \rangle}{||g_j||^2} g_j$

Математическое следствие: После такой модификации новое скалярное произведение $\langle g_i^*, g_j \rangle \equiv 0$ . Это означает, что обновленный вектор $g_i^*$ больше не содержит компоненты, направленной против задачи $j$ . Деструктивная интерференция полностью устраняется, при этом сохраняется максимально возможное движение в сторону оптимизации исходной задачи $i$ .

Теоретическое обоснование: почему работает MTL

Эмпирический успех многозадачного обучения опирается на строгие математические и статистические закономерности. Исторически фундамент был заложен в работе Рича Каруаны (Rich Caruana, 1997), который сформулировал базовые механизмы переноса знаний (Inductive Transfer). Позже эти концепции были формализованы в рамках статистической теории обучения (Baxter, 2000).

Выделяют четыре главных механизма, обеспечивающих превосходство MTL над независимым однозадачным обучением (Single-Task Learning, STL):

1. Статистическая амплификация (Неявная аугментация данных)

В независимой модели дисперсия оценки параметров обратно пропорциональна размеру выборки $N$ . При жестком разделении параметров (Hard Sharing) общие веса $\Theta_{sh}$ обновляются на основе объединения данных со всех задач. Эффективный размер выборки для общих слоев возрастает до $\sum_{t=1}^T N_t$ .

Формализм: Дополнительные задачи действуют как генераторы структурного шума по отношению к целевой задаче, что эквивалентно неявной регуляризации (сглаживанию латентного многообразия). Это снижает дисперсию градиентных оценок и предотвращает переобучение общих фильтров на специфичные артефакты одной выборки.

2. Подслушивание признаков (Eavesdropping / Feature Sharing)

Некоторые латентные признаки легко выучить через функцию потерь одной задачи, но крайне сложно через другую из-за сложного ландшафта оптимизации или разреженности градиентов.

Формализм: Пусть существует скрытый признак $h_k$ , критически важный для задачи $B$ . Однако градиент $\nabla_{\Theta_{sh}} \mathcal{L}_B$ по отношению к весам, формирующим этот признак, мал или зашумлен (например, из-за сильного дисбаланса классов). Если этот же признак $h_k$ полезен для задачи $A$ , которая обладает плотным и сильным обучающим сигналом (большая норма градиента $||\nabla_{\Theta_{sh}} \mathcal{L}_A||$ ), задача $B$ может «подслушать» (переиспользовать) признак $h_k$ , который сеть гарантированно сформирует благодаря задаче $A$ .

3. Фокусировка внимания (Attention Focusing / Feature Selection)

В высокоразмерных признаковых пространствах $\mathcal{X}$ (например, при обработке изображений или текстов) независимая модель часто переобучается на ложные (spurious) корреляции, присутствующие в обучающей выборке.

Формализм: MTL действует как механизм отбора признаков (Feature Selection) на уровне латентных репрезентаций. Требование одновременной минимизации $\mathcal{L}_1, \dots, \mathcal{L}_T$ заставляет функцию извлечения признаков $g(x; \Theta_{sh})$ сохранять только ту информацию, которая обладает высокой взаимной информацией (Mutual Information) со множеством целевых переменных $Y_1, \dots, Y_T$ . Ложные корреляции, специфичные лишь для одной целевой переменной, отбрасываются (подавляются).

4. Ограничение пространства гипотез (Representation Bias)

Наиболее строгий математический аргумент в пользу MTL дает статистическая теория обучения. Согласно Дж. Бакстеру (Jonathan Baxter, 2000), совместное обучение ограничивает эффективную емкость пространства гипотез.

Формализм: Пусть $\mathcal{H}$ — пространство всех возможных функций, которые может аппроксимировать сеть. При обучении одной задачи риск переобучения ограничен размерностью Вапника-Червоненкиса $VC(\mathcal{H})$ . В случае MTL мы требуем, чтобы сеть нашла такое единое семейство представлений (shared representation space), которое содержит хорошие гипотезы для всех $T$ задач одновременно. Это эквивалентно сужению поиска до гораздо меньшего подпространства $\mathcal{H}^* \subset \mathcal{H}$ . Теорема Бакстера доказывает, что оценка верхней границы ошибки обобщения (Generalization Bound) для MTL убывает быстрее (требует меньше данных на каждую задачу) по сравнению с независимым обучением, так как эффективная сложность модели, приходящаяся на одну задачу, драматически снижается.

Применение в индустрии

Обработка естественного языка (NLP): Флагманская модель BERT обучается в режиме MTL. Она одновременно решает задачу предсказания пропущенного слова (Masked Language Modeling) и задачу бинарной классификации — является ли следующее предложение логическим продолжением предыдущего (Next Sentence Prediction).
Компьютерное зрение (CV): Модели семейства Mask R-CNN параллельно решают задачи предсказания рамок объектов (Bounding Box Regression), классификации объекта внутри рамки и попиксельной сегментации маски.
Рекомендательные системы: Практически любая крупная лента (VK, YouTube, Дзен) использует MTL для одновременного предсказания вероятности клика (Click), лайка (Like), комментария и глубины просмотра (Watch Time).

Литература

Caruana R. Multitask learning // Machine Learning. — 1997. — Т. 28. — С. 41–75.
Ruder S. An Overview of Multi-Task Learning in Deep Neural Networks // arXiv preprint arXiv:1706.05098. — 2017.
Ma C. et al. Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts // Proceedings of the 24th ACM SIGKDD. — 2018.
Kendall A., Gal Y., Cipolla R. Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics // CVPR. — 2018.

См. также

Трансферное обучение (Transfer Learning)
Многозадачное обучение
Смесь экспертов
Функция потерь
Метаобучение

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%BD%D0%BE%D0%B3%D0%BE%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5»

Категории: Машинное обучение | Глубокое обучение

@@ Строка 139: / Строка 139: @@
 * '''Математическое следствие:''' После такой модификации новое скалярное произведение <tex>\langle g_i^*, g_j \rangle \equiv 0</tex>. Это означает, что обновленный вектор <tex>g_i^*</tex> больше не содержит компоненты, направленной против задачи <tex>j</tex>. Деструктивная интерференция полностью устраняется, при этом сохраняется максимально возможное движение в сторону оптимизации исходной задачи <tex>i</tex>.
-== Почему MTL работает? (Теоретическое обоснование) ==
+== Теоретическое обоснование: почему работает MTL ==
-В своей классической работе 1997 года Рич Каруана (Rich Caruana) выделил несколько механизмов, благодаря которым MTL превосходит однозадачное обучение:
+Эмпирический успех многозадачного обучения опирается на строгие математические и статистические закономерности. Исторически фундамент был заложен в работе Рича Каруаны (Rich Caruana, 1997), который сформулировал базовые механизмы переноса знаний (Inductive Transfer). Позже эти концепции были формализованы в рамках статистической теории обучения (Baxter, 2000).
-* '''Неявная аугментация данных:''' Каждая задача приносит дополнительный шум и паттерны, действуя как эффективный регуляризатор.
-* '''Фокусировка внимания (Attention Focusing):''' Если признаки сильно зашумлены, модели сложно понять, на что обращать внимание. Дополнительные задачи обеспечивают дополнительный "сигнал" для правильного отбора признаков.
+Выделяют четыре главных механизма, обеспечивающих превосходство MTL над независимым однозадачным обучением (Single-Task Learning, STL):
-* '''Подслушивание (Eavesdropping):''' Признак <tex>G</tex> может быть легко выучен через задачу <tex>A</tex>, но трудно через задачу <tex>B</tex>. Обучая их вместе, задача <tex>B</tex> может "подслушать" и использовать признак <tex>G</tex>.
+=== 1. Статистическая амплификация (Неявная аугментация данных) ===
+В независимой модели дисперсия оценки параметров обратно пропорциональна размеру выборки <tex>N</tex>. При жестком разделении параметров (Hard Sharing) общие веса <tex>\Theta_{sh}</tex> обновляются на основе объединения данных со всех задач. Эффективный размер выборки для общих слоев возрастает до <tex>\sum_{t=1}^T N_t</tex>.
+* '''Формализм:''' Дополнительные задачи действуют как генераторы структурного шума по отношению к целевой задаче, что эквивалентно неявной [[Регуляризация (математика)|регуляризации]] (сглаживанию латентного многообразия). Это снижает дисперсию градиентных оценок и предотвращает переобучение общих фильтров на специфичные артефакты одной выборки.
+=== 2. Подслушивание признаков (Eavesdropping / Feature Sharing) ===
+Некоторые латентные признаки легко выучить через функцию потерь одной задачи, но крайне сложно через другую из-за сложного ландшафта оптимизации или разреженности градиентов.
+* '''Формализм:''' Пусть существует скрытый признак <tex>h_k</tex>, критически важный для задачи <tex>B</tex>. Однако градиент <tex>\nabla_{\Theta_{sh}} \mathcal{L}_B</tex> по отношению к весам, формирующим этот признак, мал или зашумлен (например, из-за сильного дисбаланса классов). Если этот же признак <tex>h_k</tex> полезен для задачи <tex>A</tex>, которая обладает плотным и сильным обучающим сигналом (большая норма градиента <tex>||\nabla_{\Theta_{sh}} \mathcal{L}_A||</tex>), задача <tex>B</tex> может «подслушать» (переиспользовать) признак <tex>h_k</tex>, который сеть гарантированно сформирует благодаря задаче <tex>A</tex>.
+=== 3. Фокусировка внимания (Attention Focusing / Feature Selection) ===
+В высокоразмерных признаковых пространствах <tex>\mathcal{X}</tex> (например, при обработке изображений или текстов) независимая модель часто переобучается на ложные (spurious) корреляции, присутствующие в обучающей выборке.
+* '''Формализм:''' MTL действует как механизм отбора признаков (Feature Selection) на уровне латентных репрезентаций. Требование одновременной минимизации <tex>\mathcal{L}_1, \dots, \mathcal{L}_T</tex> заставляет функцию извлечения признаков <tex>g(x; \Theta_{sh})</tex> сохранять только ту информацию, которая обладает высокой [[Взаимная информация|взаимной информацией]] (Mutual Information) со ''множеством'' целевых переменных <tex>Y_1, \dots, Y_T</tex>. Ложные корреляции, специфичные лишь для одной целевой переменной, отбрасываются (подавляются).
+=== 4. Ограничение пространства гипотез (Representation Bias) ===
+Наиболее строгий математический аргумент в пользу MTL дает статистическая теория обучения. Согласно Дж. Бакстеру (Jonathan Baxter, 2000), совместное обучение ограничивает эффективную емкость пространства гипотез.
+* '''Формализм:''' Пусть <tex>\mathcal{H}</tex> — пространство всех возможных функций, которые может аппроксимировать сеть. При обучении одной задачи риск переобучения ограничен [[VC-размерность|размерностью Вапника-Червоненкиса]] <tex>VC(\mathcal{H})</tex>. В случае MTL мы требуем, чтобы сеть нашла такое единое семейство представлений (shared representation space), которое содержит хорошие гипотезы для ''всех'' <tex>T</tex> задач одновременно. Это эквивалентно сужению поиска до гораздо меньшего подпространства <tex>\mathcal{H}^* \subset \mathcal{H}</tex>. Теорема Бакстера доказывает, что оценка верхней границы ошибки обобщения (Generalization Bound) для MTL убывает быстрее (требует меньше данных на каждую задачу) по сравнению с независимым обучением, так как эффективная сложность модели, приходящаяся на одну задачу, драматически снижается.
 == Применение в индустрии ==