Механизм внимания
Материал из MachineLearning.
| Статья написана с использованием LLM Claude Sonnet 4 и проверена участником Emil Petrov Emil Petrov 14:45, 16 июня 2026 (MSD)
Промпт приводится полностью в Обсуждение:Механизм внимания |
|
Механи́зм внима́ния (англ. attention mechanism) — метод в нейронных сетях, позволяющий модели динамически взвешивать различные части входных данных при формировании каждого элемента выходной последовательности. Впервые предложен Bahdanau et al. (2014) для задачи нейронного машинного перевода[1] и впоследствии ставший ключевым строительным блоком трансформера.
Мотивировка
В классических энкодер-декодерных архитектурах на основе рекуррентных нейронных сетей вся информация о входной последовательности сжимается в единственный вектор фиксированной длины — так называемый «контекстный вектор». При генерации длинных последовательностей это узкое место приводит к деградации качества: декодер не может напрямую «посмотреть» на нужный фрагмент входа. Механизм внимания устраняет это ограничение, позволяя декодеру на каждом шаге генерации формировать взвешенную сумму всех скрытых состояний энкодера.
Базовый механизм внимания Bahdanau
Пусть — скрытые состояния энкодера,
— скрытое состояние декодера на предыдущем шаге. Оценка релевантности (энергия)
-го токена входа для генерации токена
вычисляется нейронной сетью:
где — обычно небольшая полносвязная сеть. Затем оценки нормируются функцией softmax:
Контекстный вектор для шага формируется как взвешенная сумма:
Коэффициенты интерпретируются как «мягкое выравнивание» (soft alignment) — вероятности того, что
-й входной токен важен при генерации
-го выходного.
Scaled Dot-Product Attention
В трансформере Vaswani et al. (2017) предложили более эффективную формуляцию через матричные операции. Входы — матрицы запросов , ключей
и значений
:
Деление на
предотвращает попадание в области с малым градиентом функции softmax при больших значениях скалярных произведений. Вычислительная сложность —
.
Типы внимания в трансформере
- Self-attention (само-внимание) —
(все три формируются из одного и того же входа). Каждый токен «смотрит» на все остальные токены той же последовательности. Это позволяет модели захватывать зависимости между любыми парами токенов вне зависимости от расстояния.
- Cross-attention (кросс-внимание) — запросы
поступают из одной последовательности (декодер), а ключи
и значения
— из другой (выходы энкодера). Используется в энкодер-декодерных трансформерах для установления связи между входом и выходом.
- Маскированное внимание (masked attention) — матрица оценок маскируется: позиции, на которые нельзя смотреть (будущие токены при авторегрессии), получают
перед softmax, что эффективно обнуляет соответствующие веса внимания.
Многоголовое внимание
Многоголовое внимание (multi-head attention) запускает
независимых операций внимания с разными линейными проекциями, позволяя одновременно фокусироваться на разных аспектах входа:
где
,
,
,
— обучаемые матрицы.
Интерпретация: разные головы специализируются на синтаксических связях (согласование, управление), семантических отношениях, кореференции, позиционных паттернах и т.д.
Интерпретируемость и визуализация
Матрицы весов внимания
допускают непосредственную визуализацию и часто используются для интерпретации работы трансформера. Инструменты наподобие BertViz позволяют видеть, какие токены «смотрят» друг на друга в каждой голове и на каждом слое.
Однако исследования показывают, что веса внимания не всегда соответствуют «важности» токена для предсказания: градиентные методы интерпретации часто дают иные ответы, чем простая визуализация внимания.
Эффективные варианты
Квадратичная сложность
стандартного внимания ограничивает применение к длинным последовательностям. Предложены альтернативы:
- Sparse Attention (Longformer, BigBird) — каждый токен посещает локальное окно и набор глобальных токенов, снижая сложность до
или
.
- Linear Attention (Performer, Random Feature Attention) — аппроксимация ядра softmax случайными признаками, линейная сложность
- FlashAttention — алгоритм точного вычисления внимания с IO-aware оптимизацией: блочная обработка данных в SRAM GPU, без материализации матрицы
в DRAM. Ускоряет вычисления в 2–4× при той же точности.
- Multi-Query Attention и Grouped Query Attention (GQA) — уменьшение числа голов для ключей и значений при сохранении числа голов для запросов; ускоряет инференс.
Применения вне NLP
Механизм внимания проник во многие области машинного обучения:
- Компьютерное зрение — Vision Transformer (ViT) применяет self-attention к патчам изображений.
- Рекомендательные системы — модели внимания над историей взаимодействий пользователя.
- Обработка графов — Graph Attention Networks (GAT).
- Предсказание структуры белков — AlphaFold2 использует multi-head attention в своих Evoformer-блоках.
- Генерация изображений — диффузионные модели применяют кросс-внимание между текстовым условием и картой признаков изображения.
См. также
- Трансформер (модель)
- Большая языковая модель
- Нейросетевое встраивание
- Рекуррентная нейронная сеть
- Диффузионная модель
Примечания
Литература
- Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate // ICLR. — 2015.
- Vaswani A. et al. Attention Is All You Need // NeurIPS. — 2017.
- Dao T., Fu D. Y., Ermon S., Rudra A., Ré C. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness // NeurIPS. — 2022.
- Jain S., Wallace B. C. Attention is not Explanation // NAACL-HLT. — 2019.
- Self-attention (само-внимание) —
