Нейросетевое встраивание

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Claude Sonnet 4 и проверена участником Emil Petrov 20:15, 14 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:Нейросетевое встраивание

Нейросетево́е вста́ивание (англ. neural network embedding, также векторное представление, эмбеддинг) — отображение объектов дискретного пространства (слов, токенов, предложений, документов, пользователей, узлов графа, изображений и т.д.) в непрерывное векторное пространство фиксированной размерности $d$ ^[1]. Эмбеддинги позволяют нейронным сетям оперировать символами так же, как числами, и кодировать семантические, синтаксические или структурные отношения геометрией пространства.

Аналогия: словарь языка — огромный шкаф с ящиками-словами. Эмбеддинг раскладывает ящики в комнате так, что «близкие по смыслу» оказываются рядом, а «далёкие» — далеко. Тогда поиск, классификация и аналогии превращаются в операции с расстояниями и углами, а не в хрупкие правила на строках.

В современных больших языковых моделях на архитектуре трансформера встраивания токенов — первый слой представления; механизм внимания далее смешивает их в контекстуальные состояния. Отдельные эмбеддинг-модели обслуживают семантический поиск и RAG в промпт-инжиниринге.

Основная идея

Качественный эмбеддинг отображает семантическую близость в геометрическую. Если $f: \mathcal{X} \to \mathbb{R}^d$ — функция встраивания, то для семантически близких $x_1, x_2$ и далёкого $x_3$ ожидают:

$\|f(x_1) - f(x_2)\|_2 \ll \|f(x_1) - f(x_3)\|_2.$

Часто используют косинусную близость:

$\mathrm{sim}(u,v) = \frac{u^\top v}{\|u\|_2\,\|v\|_2}.$

Размерность $d$ типично от 64–300 (классические word embeddings) до 384–4096 (современные sentence / LLM embeddings). Слишком малая $d$ теряет различия; слишком большая удорожает хранение и ANN-поиск без гарантии лучшего качества.

Статические словесные эмбеддинги

Word2Vec

Модель Mikolov et al. (2013) обучает плотные векторы слов на задаче предсказания контекста^[1]:

CBOW — предсказать целевое слово по усреднённому контексту;
Skip-gram — предсказать контекстные слова по целевому.

Функция потерь Skip-gram (в упрощённом виде):

$\mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T}\sum_{-c \le j \le c,\, j \ne 0} \log p(w_{t+j} \mid w_t),$

где $T$ — длина корпуса, $c$ — размер окна. На практике применяют negative sampling или hierarchical softmax.

Знаменитое свойство линейных аналогий (классический пример на английских токенах; по-русски: «король − мужчина + женщина ≈ королева»):

$f(\mathrm{king}) - f(\mathrm{man}) + f(\mathrm{woman}) \approx f(\mathrm{queen}).$

Ограничение: один вектор на словоформу/тип — многозначность («банка» как финансовое учреждение и как ёмкость) схлопывается в одну точку.

GloVe

GloVe (Global Vectors) явно использует статистику совместной встречаемости^[1]. Целевая функция:

$J = \sum_{i,j=1}^{V} h(X_{ij})\left(w_i^\top \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij}\right)^2,$

где $X_{ij}$ — счётчик совместных появлений, $h$ — весовая функция, снижающая влияние редких и сверхчастых пар. GloVe сочетает глобальную матричную факторизацию с локальным контекстным окном.

FastText

FastText расширяет Word2Vec: слово представляется суммой эмбеддингов символьных n-грамм^[1]. Это даёт векторы для out-of-vocabulary и морфологически богатых языков (в том числе русского): невиданное слово всё же собирается из знакомых кусков.

Контекстуальные эмбеддинги

Статический вектор не зависит от предложения. Контекстуальный эмбеддинг — функция от всего контекста: одно и то же слово получает разные векторы в разных окружениях.

ELMo

ELMo строит представления двунаправленной LSTM и комбинирует скрытые состояния разных слоёв взвешенной суммой^[1]. Нижние слои ближе к синтаксису, верхние — к семантике. ELMo стал мостом от Word2Vec к трансформерной эре.

BERT и трансформерные представления

Трансформерные энкодеры вроде BERT производят мощные контекстуальные состояния через многослойное само-внимание^[1]. Для эмбеддинга предложения часто берут токен [CLS] или mean-pooling по токенам. Важно: «сырой» BERT без дообучения на семантическую близость — слабый sentence embedding: косинус плохо ранжирует парафразы (классический результат Sentence-BERT).

Decoder-only LLM также дают скрытые состояния, но для retrieval обычно обучают или адаптируют отдельные embedding-головы / bi-энкодеры.

Sentence-BERT (SBERT)

Sentence-BERT дообучает сиамские/триплетные сети на парах предложений, чтобы косинус в пространстве эмбеддингов отражал семантическую близость^[1]. Классическая контрастивная (contrastive) потеря с отступом:

$\mathcal{L} = (1-y)\frac{1}{2}D^2 + y\frac{1}{2}\max(0,\, m - D)^2,$

где $D = \|f(s_1) - f(s_2)\|_2$ , $y \in \{0,1\}$ — метка схожести, $m$ — margin. На практике широко используют Multiple Negatives Ranking Loss и аналоги InfoNCE.

SBERT сделал возможным быстрый семантический поиск: один проход энкодера на документ + ANN, вместо кросс-энкодера на каждую пару.

Контрастивное и мультимодальное обучение

InfoNCE, SimCSE

Контрастивное обучение притягивает аугментации одного объекта и отталкивает негативы. Типичный InfoNCE:

$\mathcal{L} = -\log \frac{\exp(\mathrm{sim}(z_i,z_i^+)/\tau)}{\sum_{j}\exp(\mathrm{sim}(z_i,z_j)/\tau)},$

где $\tau$ — температура. SimCSE получает позитивы dropout-аугментацией одного предложения — простой и сильный способ sentence embeddings без размеченных пар^[1].

CLIP

CLIP обучает совместное пространство текста и изображений контрастивной целью на парах (caption, image)^[1]. Это основа zero-shot классификации изображений и текстового поиска по картинкам; родственные идеи используются в conditioning диффузионных моделей (текстовые энкодеры как guidance).

Графовые эмбеддинги (кратко)

DeepWalk / Node2Vec генерируют случайные блуждания по графу и обучают Skip-gram на последовательностях узлов — «слова» заменяются вершинами. Есть также GNN-подходы (GraphSAGE, GAT), где эмбеддинг узла агрегирует соседей. Применения: рекомендации, детекция сообществ, knowledge graphs. В LLM-экосистеме графовые эмбеддинги встречаются в entity linking и retrieval по knowledge base.

Поиск ближайших соседей (ANN)

Для запроса $q$ найти $k$ ближайших векторов из базы $\mathcal{D}$ :

$\mathrm{kNN}(q) = \arg\!\min_{S \subset \mathcal{D},\, |S|=k} \sum_{v \in S} \|q - v\|.$

Точный kNN на миллионах/миллиардах векторов недоступен по latency; используют приближённый поиск (ANN):

HNSW (Hierarchical Navigable Small World) — многоуровневый граф близости, высокий recall при низкой latency^[1];
IVF — кластеризация (Voronoi) + поиск в коротком списке ячеек;
Product Quantization (PQ) — сжатие векторов для экономии памяти.

Библиотеки: FAISS, ScaNN, Annoy, hnswlib; векторные СУБД (pgvector, Milvus, Qdrant и др.). Метрики качества поиска: Recall@k, latency p95, память на вектор. Ловушка: смена модели эмбеддингов требует полной переиндексации — пространства несовместимы.

Оценка качества эмбеддингов

внутренние: Word Similarity (WordSim, SimLex), аналогии; для предложений — STS (Semantic Textual Similarity), корреляция с человеческими оценками;
внешние / retrieval: BEIR, MTEB — multi-task benchmark для embedding-моделей (retrieval, clustering, classification);
downstream: качество RAG (answer faithfulness), классификации с линейным зондом на замороженных эмбеддингах;
калибровка: нормализация L2, размерность, доменная адаптация (fine-tune на своих парах query–doc).

Частая ошибка: оценивать только in-domain примеры и удивляться деградации на другом жаргоне или языке.

Применения

обработка естественного языка — перевод (как компоненты), анализ тональности, кластеризация текстов, дедупликация;
семантический поиск и RAG в связке с промпт-инжинирингом и LLM;
рекомендательные системы (user/item embeddings);
мультимодальный поиск и guidance для диффузионных генераторов;
RLHF / preference models — представления пар (запрос, ответ) внутри reward model;
anomaly detection и метрическое обучение.

Ограничения и ловушки

hubness в высоких размерностях: некоторые векторы становятся «ближайшими соседями» слишком часто;
смешение доменов и языков без multilingual / domain-adapted моделей;
утечка тестовых пар в обучение sentence-моделей завышает STS;
использование эмбеддингов LLM «как есть» без contrastive fine-tune для retrieval;
этические риски: эмбеддинги наследуют корпусные стереотипы (гендер, раса и т.д.).

Практический пайплайн семантического поиска

Типичный промышленный контур:

выбрать или дообучить bi-энкодер (SBERT-класс / E5 / BGE и аналоги) под язык и домен;
нарезать документы на чанки (баланс полноты и точности; overlap);
сохранить векторы и метаданные; построить HNSW/IVF-индекс;
на запросе — encode → ANN → (опционально) реранкинг кросс-энкодером → сборка контекста для LLM.

Реранкинг дороже, но повышает precision@k; для низкой latency часто ограничивают кандидатов (например, top-100 → top-10). В промпт-инжиниринге RAG качество «ответа» нельзя диагностировать одним LLM-judge: отдельно смотрят retrieval и grounded generation.

Инженерные детали, которые ломают качество чаще теории:

разные модели/версии эмбеддингов в одной базе без миграции;
нормализация векторов включена при обучении, но забыта на инференсе (или наоборот);
чанки режут посередине таблиц и списков;
query и documents кодируются разными промпт-префиксами (у ряда моделей это обязательно).

См. также

Примечания

Литература

Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016. — С. 502–511.
Mikolov T. et al. Distributed Representations of Words and Phrases and their Compositionality // Advances in Neural Information Processing Systems. — 2013. — Т. 26.
Pennington J., Socher R., Manning C. D. GloVe: Global Vectors for Word Representation // Empirical Methods in Natural Language Processing. — 2014. — С. 1532–1543.
Bojanowski P. et al. Enriching Word Vectors with Subword Information // Transactions of the Association for Computational Linguistics. — 2017. — Т. 5. — С. 135–146.
Devlin J. et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // NAACL. — 2019. — С. 4171–4186.
Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // Empirical Methods in Natural Language Processing. — 2019.
Gao T., Yao X., Chen D. SimCSE: Simple Contrastive Learning of Sentence Embeddings // Empirical Methods in Natural Language Processing. — 2021.
Radford A. et al. Learning Transferable Visual Models From Natural Language Supervision (CLIP) // International Conference on Machine Learning. — 2021.
Malkov Y. A., Yashunin D. A. Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs // IEEE TPAMI. — 2020. — Т. 42. — № 4. — С. 824–836.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B5_%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5»

Категории: Машинное обучение | Нейронные сети | Обработка естественного языка

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM '''Claude Sonnet 4''' и проверена участником [[Участник:Emil Petrov|Emil Petrov]] 15:26, 16 июня 2026 (MSD)
+{{well|Статья написана с использованием LLM '''Claude Sonnet 4''' и проверена участником [[Участник:Emil Petrov|Emil Petrov]] 20:15, 14 июля 2026 (MSD)
 Промпт приводится полностью в [[Обсуждение:Нейросетевое встраивание]]
 }}
 {{TOCright}}
-'''Нейросетево́е вста́ивание''' (англ. neural network embedding, также '''векторное представление''') — отображение объектов дискретного пространства (слов, символов, документов, пользователей, узлов графа и т.д.) в непрерывное векторное пространство фиксированной размерности<ref>{{\u043aнига|автор=Goodfellow I., Bengio Y., Courville A.|заглавие=Deep Learning|издательство=MIT Press|год=2016|страницы=502–511}}</ref>. Векторные представления позволяют моделям [[Нейронная сеть|нейронных сетей]] работать с дискретными объектами так же, как с числовыми данными, и улавливать семантические связи между ними.
+'''Нейросетево́е вста́ивание''' (англ. ''neural network embedding'', также '''векторное представление''', '''эмбеддинг''') — отображение объектов дискретного пространства (слов, токенов, предложений, документов, пользователей, узлов графа, изображений и т.д.) в непрерывное векторное пространство фиксированной размерности <tex>d</tex><ref name="goodfellow2016">{{книга |автор=Goodfellow I., Bengio Y., Courville A. |заглавие=Deep Learning |издательство=MIT Press |год=2016 |страницы=502–511}}</ref>. Эмбеддинги позволяют [[Нейронная сеть|нейронным сетям]] оперировать символами так же, как числами, и кодировать семантические, синтаксические или структурные отношения геометрией пространства.
+Аналогия: словарь языка — огромный шкаф с ящиками-словами. Эмбеддинг раскладывает ящики в комнате так, что «близкие по смыслу» оказываются рядом, а «далёкие» — далеко. Тогда поиск, классификация и аналогии превращаются в операции с расстояниями и углами, а не в хрупкие правила на строках.
+В современных [[Большая языковая модель|больших языковых моделях]] на архитектуре [[Трансформер (модель)|трансформера]] встраивания токенов — первый слой представления; [[Механизм внимания|механизм внимания]] далее смешивает их в контекстуальные состояния. Отдельные эмбеддинг-модели обслуживают семантический поиск и RAG в [[Промпт-инжиниринг|промпт-инжиниринге]].
 == Основная идея ==
-Ключевое свойство качественного эмбеддинга — семантическая близость отображается в геометрическую близость векторов. Формально, если <tex>f: \mathcal{X} \to \mathbb{R}^d</tex> — функция встраивания, то для семантически близких <tex>x_1, x_2</tex> должно выполняться:
+Качественный эмбеддинг отображает семантическую близость в геометрическую. Если <tex>f: \mathcal{X} \to \mathbb{R}^d</tex> — функция встраивания, то для семантически близких <tex>x_1, x_2</tex> и далёкого <tex>x_3</tex> ожидают:
+:<tex>\|f(x_1) - f(x_2)\|_2 \ll \|f(x_1) - f(x_3)\|_2.</tex>
+Часто используют косинусную близость:
-:<tex>\|f(x_1) - f(x_2)\|_2 \ll \|f(x_1) - f(x_3)\|_2,</tex>
+:<tex>\mathrm{sim}(u,v) = \frac{u^\top v}{\|u\|_2\,\|v\|_2}.</tex>
-где <tex>x_3</tex> — семантически далёкий объект. Размерность <tex>d</tex> обычно от 64 до 4096.
+Размерность <tex>d</tex> типично от 64–300 (классические word embeddings) до 384–4096 (современные sentence / LLM embeddings). Слишком малая <tex>d</tex> теряет различия; слишком большая удорожает хранение и ANN-поиск без гарантии лучшего качества.
-== Словесные эмбеддинги ==
+== Статические словесные эмбеддинги ==
 === Word2Vec ===
-Одна из первых и наиболее известных моделей для построения эмбеддингов слов, предложенная Mikolov et al. в 2013 году<ref>{{\u0441татья|автор=Mikolov T. et al.|заглавие=Distributed Representations of Words and Phrases|издание=NeurIPS|год=2013}}</ref>. Реализует два варианта:
+Модель Mikolov et al. (2013) обучает плотные векторы слов на задаче предсказания контекста<ref name="mikolov2013">{{статья |автор=Mikolov T., Sutskever I., Chen K., Corrado G., Dean J. |заглавие=Distributed Representations of Words and Phrases and their Compositionality |издание=Advances in Neural Information Processing Systems |год=2013 |том=26 |ссылка=https://arxiv.org/abs/1310.4546}}</ref>:
-* '''CBOW''' — предсказывает целевое слово по контексту;
+* '''CBOW''' — предсказать целевое слово по усреднённому контексту;
-* '''Skip-gram''' — предсказывает контекстные слова по целевому.
+* '''Skip-gram''' — предсказать контекстные слова по целевому.
-Функция потерь Skip-gram:
+Функция потерь Skip-gram (в упрощённом виде):
 :<tex>\mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T}\sum_{-c \le j \le c,\, j \ne 0} \log p(w_{t+j} \mid w_t),</tex>
-где <tex>T</tex> — длина корпуса, <tex>c</tex> — размер окна контекста.
+где <tex>T</tex> — длина корпуса, <tex>c</tex> — размер окна. На практике применяют negative sampling или hierarchical softmax.
-Знаменитое свойство: <tex>f(\text{\u043aороль}) - f(\text{\u043cужчина}) + f(\text{\u0436енщина}) \approx f(\text{\u043aоролева})</tex>.
+Знаменитое свойство линейных аналогий (классический пример на английских токенах; по-русски: «король − мужчина + женщина ≈ королева»):
+:<tex>f(\mathrm{king}) - f(\mathrm{man}) + f(\mathrm{woman}) \approx f(\mathrm{queen}).</tex>
+Ограничение: один вектор на словоформу/тип — многозначность («банка» как финансовое учреждение и как ёмкость) схлопывается в одну точку.
 === GloVe ===
-GloVe строит эмбеддинги на основе статистики совместной встречаемости. Целевая функция:
+'''GloVe''' (Global Vectors) явно использует статистику совместной встречаемости<ref name="pennington2014">{{статья |автор=Pennington J., Socher R., Manning C. D. |заглавие=GloVe: Global Vectors for Word Representation |издание=Empirical Methods in Natural Language Processing |год=2014 |страницы=1532–1543 |ссылка=https://aclanthology.org/D14-1162/}}</ref>. Целевая функция:
 :<tex>J = \sum_{i,j=1}^{V} h(X_{ij})\left(w_i^\top \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij}\right)^2,</tex>
-где <tex>X_{ij}</tex> — количество совместных появлений, <tex>h</tex> — весовая функция.
+где <tex>X_{ij}</tex> — счётчик совместных появлений, <tex>h</tex> — весовая функция, снижающая влияние редких и сверхчастых пар. GloVe сочетает глобальную матричную факторизацию с локальным контекстным окном.
 === FastText ===
-Расширение Word2Vec: каждое слово представляется суммой эмбеддингов символьных n-грамм. Позволяет строить векторы для out-of-vocabulary слов.
+'''FastText''' расширяет Word2Vec: слово представляется суммой эмбеддингов символьных n-грамм<ref name="bojanowski2017">{{статья |автор=Bojanowski P., Grave E., Joulin A., Mikolov T. |заглавие=Enriching Word Vectors with Subword Information |издание=Transactions of the Association for Computational Linguistics |год=2017 |том=5 |страницы=135–146 |ссылка=https://arxiv.org/abs/1607.04606}}</ref>. Это даёт векторы для out-of-vocabulary и морфологически богатых языков (в том числе русского): невиданное слово всё же собирается из знакомых кусков.
 == Контекстуальные эмбеддинги ==
-В отличие от статических, контекстуальные эмбеддинги зависят от всего предложения — одно слово получает разные векторы в разных контекстах.
+Статический вектор не зависит от предложения. '''Контекстуальный''' эмбеддинг — функция от всего контекста: одно и то же слово получает разные векторы в разных окружениях.
 === ELMo ===
-ELMo использует двунаправленную LSTM для построения многоуровневых представлений слов. Финальный эмбеддинг — взвешенная комбинация скрытых состояний всех слоёв.
+'''ELMo''' строит представления двунаправленной LSTM и комбинирует скрытые состояния разных слоёв взвешенной суммой<ref name="peters2018">{{статья |автор=Peters M. E. et al. |заглавие=Deep Contextualized Word Representations |издание=NAACL |год=2018 |ссылка=https://arxiv.org/abs/1802.05365}}</ref>. Нижние слои ближе к синтаксису, верхние — к семантике. ELMo стал мостом от Word2Vec к трансформерной эре.
-=== BERT-эмбеддинги ===
+=== BERT и трансформерные представления ===
-[[Трансформер (модель)|Трансформерные]] модели типа BERT производят мощные контекстуальные эмбеддинги. Для эмбеддинга предложения часто используется токен [CLS] или усреднение выходов всех токенов (mean pooling).
+[[Трансформер (модель)|Трансформерные]] энкодеры вроде BERT производят мощные контекстуальные состояния через многослойное само-внимание<ref name="devlin2019">{{статья |автор=Devlin J., Chang M.-W., Lee K., Toutanova K. |заглавие=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |издание=NAACL |год=2019 |страницы=4171–4186 |ссылка=https://arxiv.org/abs/1810.04805}}</ref>. Для эмбеддинга предложения часто берут токен <code>[CLS]</code> или mean-pooling по токенам. Важно: «сырой» BERT без дообучения на семантическую близость — слабый sentence embedding: косинус плохо ранжирует парафразы (классический результат Sentence-BERT).
-=== Sentence Transformers ===
+Decoder-only LLM также дают скрытые состояния, но для retrieval обычно обучают или адаптируют отдельные embedding-головы / bi-энкодеры.
-Специализированные [[\u0422рансформер (\u043cодель)|трансформерные]] модели, дообученные на задаче семантической близости пар. Контрастивная функция потерь:
+=== Sentence-BERT (SBERT) ===
+'''Sentence-BERT''' дообучает сиамские/триплетные сети на парах предложений, чтобы косинус в пространстве эмбеддингов отражал семантическую близость<ref name="reimers2019">{{статья |автор=Reimers N., Gurevych I. |заглавие=Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks |издание=Empirical Methods in Natural Language Processing |год=2019 |ссылка=https://arxiv.org/abs/1908.10084}}</ref>. Классическая контрастивная (contrastive) потеря с отступом:
 :<tex>\mathcal{L} = (1-y)\frac{1}{2}D^2 + y\frac{1}{2}\max(0,\, m - D)^2,</tex>
-где <tex>D = \|f(s_1) - f(s_2)\|</tex>, <tex>y \in \{0,1\}</tex> — метка схожести, <tex>m</tex> — отступ (margin).
+где <tex>D = \|f(s_1) - f(s_2)\|_2</tex>, <tex>y \in \{0,1\}</tex> — метка схожести, <tex>m</tex> — margin. На практике широко используют Multiple Negatives Ranking Loss и аналоги InfoNCE.
-== Графовые и мультимодальные эмбеддинги ==
+SBERT сделал возможным быстрый семантический поиск: один проход энкодера на документ + ANN, вместо кросс-энкодера на каждую пару.
-* '''Node2Vec / DeepWalk''' — применяют идеи Word2Vec к узлам графа;
+== Контрастивное и мультимодальное обучение ==
-* '''CLIP''' — совместное пространство для текста и изображений (контрастивное обучение).
-== Поиск ближайших соседей ==
+=== InfoNCE, SimCSE ===
+Контрастивное обучение притягивает аугментации одного объекта и отталкивает негативы. Типичный InfoNCE:
+:<tex>\mathcal{L} = -\log \frac{\exp(\mathrm{sim}(z_i,z_i^+)/\tau)}{\sum_{j}\exp(\mathrm{sim}(z_i,z_j)/\tau)},</tex>
+где <tex>\tau</tex> — температура. '''SimCSE''' получает позитивы dropout-аугментацией одного предложения — простой и сильный способ sentence embeddings без размеченных пар<ref name="gao2021">{{статья |автор=Gao T., Yao X., Chen D. |заглавие=SimCSE: Simple Contrastive Learning of Sentence Embeddings |издание=Empirical Methods in Natural Language Processing |год=2021 |ссылка=https://arxiv.org/abs/2104.08821}}</ref>.
+=== CLIP ===
+'''CLIP''' обучает совместное пространство текста и изображений контрастивной целью на парах (caption, image)<ref name="radford2021">{{статья |автор=Radford A. et al. |заглавие=Learning Transferable Visual Models From Natural Language Supervision |издание=International Conference on Machine Learning |год=2021 |ссылка=https://arxiv.org/abs/2103.00020}}</ref>. Это основа zero-shot классификации изображений и текстового поиска по картинкам; родственные идеи используются в conditioning [[Диффузионная модель|диффузионных моделей]] (текстовые энкодеры как guidance).
+== Графовые эмбеддинги (кратко) ==
+'''DeepWalk''' / '''Node2Vec''' генерируют случайные блуждания по графу и обучают Skip-gram на последовательностях узлов — «слова» заменяются вершинами. Есть также GNN-подходы (GraphSAGE, GAT), где эмбеддинг узла агрегирует соседей. Применения: рекомендации, детекция сообществ, knowledge graphs. В LLM-экосистеме графовые эмбеддинги встречаются в entity linking и retrieval по knowledge base.
+== Поиск ближайших соседей (ANN) ==
 Для запроса <tex>q</tex> найти <tex>k</tex> ближайших векторов из базы <tex>\mathcal{D}</tex>:
@@ Строка 72: / Строка 102: @@
 :<tex>\mathrm{kNN}(q) = \arg\!\min_{S \subset \mathcal{D},\, |S|=k} \sum_{v \in S} \|q - v\|.</tex>
-Библиотеки: FAISS, ScaNN, Annoy. Используют HNSW, IVF, Product Quantization.
+Точный kNN на миллионах/миллиардах векторов недоступен по latency; используют приближённый поиск (ANN):
+* '''HNSW''' (Hierarchical Navigable Small World) — многоуровневый граф близости, высокий recall при низкой latency<ref name="malkov2018">{{статья |автор=Malkov Y. A., Yashunin D. A. |заглавие=Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs |издание=IEEE Transactions on Pattern Analysis and Machine Intelligence |год=2020 |том=42 |номер=4 |страницы=824–836 |ссылка=https://arxiv.org/abs/1603.09320}}</ref>;
+* '''IVF''' — кластеризация (Voronoi) + поиск в коротком списке ячеек;
+* '''Product Quantization (PQ)''' — сжатие векторов для экономии памяти.
+Библиотеки: FAISS, ScaNN, Annoy, hnswlib; векторные СУБД (pgvector, Milvus, Qdrant и др.). Метрики качества поиска: Recall@k, latency p95, память на вектор. Ловушка: смена модели эмбеддингов требует '''полной переиндексации''' — пространства несовместимы.
+== Оценка качества эмбеддингов ==
+* '''внутренние''': Word Similarity (WordSim, SimLex), аналогии; для предложений — STS (Semantic Textual Similarity), корреляция с человеческими оценками;
+* '''внешние / retrieval''': BEIR, MTEB — multi-task benchmark для embedding-моделей (retrieval, clustering, classification);
+* '''downstream''': качество RAG (answer faithfulness), классификации с линейным зондом на замороженных эмбеддингах;
+* калибровка: нормализация L2, размерность, доменная адаптация (fine-tune на своих парах query–doc).
+Частая ошибка: оценивать только in-domain примеры и удивляться деградации на другом жаргоне или языке.
 == Применения ==
-Нейросетевые встраивания применяются в:
+* [[Обработка естественного языка|обработка естественного языка]] — перевод (как компоненты), анализ тональности, кластеризация текстов, дедупликация;
-* [[Обработка естественного языка|ОБР]] — перевод, анализ тональности, семантический поиск;
+* '''семантический поиск и RAG''' в связке с [[Промпт-инжиниринг|промпт-инжинирингом]] и [[Большая языковая модель|LLM]];
-* RAG-системах в контексте [[Промпт-инжиниринг|промпт-инжиниринга]];
+* рекомендательные системы (user/item embeddings);
-* рекомендательных системах;
+* мультимодальный поиск и guidance для [[Диффузионная модель|диффузионных]] генераторов;
-* [[Обучение с подкреплением из обратной связи человека (RLHF)|RLHF]] — reward model использует эмбеддинги.
+* [[Обучение с подкреплением из обратной связи человека (RLHF)|RLHF]] / preference models — представления пар (запрос, ответ) внутри reward model;
+* anomaly detection и метрическое обучение.
+== Ограничения и ловушки ==
+* '''hubness''' в высоких размерностях: некоторые векторы становятся «ближайшими соседями» слишком часто;
+* смешение доменов и языков без multilingual / domain-adapted моделей;
+* утечка тестовых пар в обучение sentence-моделей завышает STS;
+* использование эмбеддингов LLM «как есть» без contrastive fine-tune для retrieval;
+* этические риски: эмбеддинги наследуют корпусные стереотипы (гендер, раса и т.д.).
+== Практический пайплайн семантического поиска ==
+Типичный промышленный контур:
+# выбрать или дообучить bi-энкодер (SBERT-класс / E5 / BGE и аналоги) под язык и домен;
+# нарезать документы на чанки (баланс полноты и точности; overlap);
+# сохранить векторы и метаданные; построить HNSW/IVF-индекс;
+# на запросе — encode → ANN → (опционально) реранкинг кросс-энкодером → сборка контекста для [[Большая языковая модель|LLM]].
+Реранкинг дороже, но повышает precision@k; для низкой latency часто ограничивают кандидатов (например, top-100 → top-10). В [[Промпт-инжиниринг|промпт-инжиниринге]] RAG качество «ответа» нельзя диагностировать одним LLM-judge: отдельно смотрят retrieval и grounded generation.
+Инженерные детали, которые ломают качество чаще теории:
+* разные модели/версии эмбеддингов в одной базе без миграции;
+* нормализация векторов включена при обучении, но забыта на инференсе (или наоборот);
+* чанки режут посередине таблиц и списков;
+* query и documents кодируются разными промпт-префиксами (у ряда моделей это обязательно).
 == См. также ==
-* [[Трансформер (модель)]]
 * [[Большая языковая модель]]
+* [[Трансформер (модель)]]
 * [[Механизм внимания]]
 * [[Промпт-инжиниринг]]
 * [[Обучение с подкреплением из обратной связи человека (RLHF)]]
+* [[Диффузионная модель]]
 == Примечания ==
@@ Строка 96: / Строка 167: @@
 == Литература ==
-* {{книга|автор=Goodfellow I., Bengio Y., Courville A.|заглавие=Deep Learning|издательство=MIT Press|год=2016}}
+* {{книга |автор=Goodfellow I., Bengio Y., Courville A. |заглавие=Deep Learning |издательство=MIT Press |год=2016 |страницы=502–511}}
-* {{статья|автор=Mikolov T. et al.|заглавие=Distributed Representations of Words and Phrases|издание=NeurIPS|год=2013}}
+* {{статья |автор=Mikolov T. et al. |заглавие=Distributed Representations of Words and Phrases and their Compositionality |издание=Advances in Neural Information Processing Systems |год=2013 |том=26 |ссылка=https://arxiv.org/abs/1310.4546}}
-* {{статья|автор=Pennington J. et al.|заглавие=GloVe: Global Vectors for Word Representation|издание=EMNLP|год=2014}}
+* {{статья |автор=Pennington J., Socher R., Manning C. D. |заглавие=GloVe: Global Vectors for Word Representation |издание=Empirical Methods in Natural Language Processing |год=2014 |страницы=1532–1543}}
-* {{статья|автор=Devlin J. et al.|заглавие=BERT: Pre-training of Deep Bidirectional Transformers|издание=NAACL|год=2019}}
+* {{статья |автор=Bojanowski P. et al. |заглавие=Enriching Word Vectors with Subword Information |издание=Transactions of the Association for Computational Linguistics |год=2017 |том=5 |страницы=135–146}}
-* {{статья|автор=Reimers N., Gurevych I.|заглавие=Sentence-BERT|издание=EMNLP|год=2019}}
+* {{статья |автор=Devlin J. et al. |заглавие=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |издание=NAACL |год=2019 |страницы=4171–4186 |ссылка=https://arxiv.org/abs/1810.04805}}
-* {{статья|автор=Radford A. et al.|заглавие=Learning Transferable Visual Models From Natural Language Supervision (CLIP)|издание=ICML|год=2021}}
+* {{статья |автор=Reimers N., Gurevych I. |заглавие=Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks |издание=Empirical Methods in Natural Language Processing |год=2019 |ссылка=https://arxiv.org/abs/1908.10084}}
+* {{статья |автор=Gao T., Yao X., Chen D. |заглавие=SimCSE: Simple Contrastive Learning of Sentence Embeddings |издание=Empirical Methods in Natural Language Processing |год=2021 |ссылка=https://arxiv.org/abs/2104.08821}}
+* {{статья |автор=Radford A. et al. |заглавие=Learning Transferable Visual Models From Natural Language Supervision (CLIP) |издание=International Conference on Machine Learning |год=2021 |ссылка=https://arxiv.org/abs/2103.00020}}
+* {{статья |автор=Malkov Y. A., Yashunin D. A. |заглавие=Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs |издание=IEEE TPAMI |год=2020 |том=42 |номер=4 |страницы=824–836}}
 [[Категория:Машинное обучение]]
 [[Категория:Нейронные сети]]
 [[Категория:Обработка естественного языка]]