Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''Claude Sonnet 4''' и проверена участником [[Участник:Emil Petrov|Emil Petrov]] 15:26, 16 июня 2026 (MSD) Промпт приводится полностью в [[Обсуждение:Нейросетевое встраивание]] }} {{TOCright}} '''Нейросетево́е вста́ивание''' (англ. neural network embedding, также '''векторное представление''') — отображение объектов дискретного пространства (слов, символов, документов, пользователей, узлов графа и т.д.) в непрерывное векторное пространство фиксированной размерности<ref>{{\u043aнига|автор=Goodfellow I., Bengio Y., Courville A.|заглавие=Deep Learning|издательство=MIT Press|год=2016|страницы=502–511}}</ref>. Векторные представления позволяют моделям [[Нейронная сеть|нейронных сетей]] работать с дискретными объектами так же, как с числовыми данными, и улавливать семантические связи между ними. == Основная идея == Ключевое свойство качественного эмбеддинга — семантическая близость отображается в геометрическую близость векторов. Формально, если <tex>f: \mathcal{X} \to \mathbb{R}^d</tex> — функция встраивания, то для семантически близких <tex>x_1, x_2</tex> должно выполняться: :<tex>\|f(x_1) - f(x_2)\|_2 \ll \|f(x_1) - f(x_3)\|_2,</tex> где <tex>x_3</tex> — семантически далёкий объект. Размерность <tex>d</tex> обычно от 64 до 4096. == Словесные эмбеддинги == === Word2Vec === Одна из первых и наиболее известных моделей для построения эмбеддингов слов, предложенная Mikolov et al. в 2013 году<ref>{{\u0441татья|автор=Mikolov T. et al.|заглавие=Distributed Representations of Words and Phrases|издание=NeurIPS|год=2013}}</ref>. Реализует два варианта: * '''CBOW''' — предсказывает целевое слово по контексту; * '''Skip-gram''' — предсказывает контекстные слова по целевому. Функция потерь Skip-gram: :<tex>\mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T}\sum_{-c \le j \le c,\, j \ne 0} \log p(w_{t+j} \mid w_t),</tex> где <tex>T</tex> — длина корпуса, <tex>c</tex> — размер окна контекста. Знаменитое свойство: <tex>f(\text{\u043aороль}) - f(\text{\u043cужчина}) + f(\text{\u0436енщина}) \approx f(\text{\u043aоролева})</tex>. === GloVe === GloVe строит эмбеддинги на основе статистики совместной встречаемости. Целевая функция: :<tex>J = \sum_{i,j=1}^{V} h(X_{ij})\left(w_i^\top \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij}\right)^2,</tex> где <tex>X_{ij}</tex> — количество совместных появлений, <tex>h</tex> — весовая функция. === FastText === Расширение Word2Vec: каждое слово представляется суммой эмбеддингов символьных n-грамм. Позволяет строить векторы для out-of-vocabulary слов. == Контекстуальные эмбеддинги == В отличие от статических, контекстуальные эмбеддинги зависят от всего предложения — одно слово получает разные векторы в разных контекстах. === ELMo === ELMo использует двунаправленную LSTM для построения многоуровневых представлений слов. Финальный эмбеддинг — взвешенная комбинация скрытых состояний всех слоёв. === BERT-эмбеддинги === [[Трансформер (модель)|Трансформерные]] модели типа BERT производят мощные контекстуальные эмбеддинги. Для эмбеддинга предложения часто используется токен [CLS] или усреднение выходов всех токенов (mean pooling). === Sentence Transformers === Специализированные [[\u0422рансформер (\u043cодель)|трансформерные]] модели, дообученные на задаче семантической близости пар. Контрастивная функция потерь: :<tex>\mathcal{L} = (1-y)\frac{1}{2}D^2 + y\frac{1}{2}\max(0,\, m - D)^2,</tex> где <tex>D = \|f(s_1) - f(s_2)\|</tex>, <tex>y \in \{0,1\}</tex> — метка схожести, <tex>m</tex> — отступ (margin). == Графовые и мультимодальные эмбеддинги == * '''Node2Vec / DeepWalk''' — применяют идеи Word2Vec к узлам графа; * '''CLIP''' — совместное пространство для текста и изображений (контрастивное обучение). == Поиск ближайших соседей == Для запроса <tex>q</tex> найти <tex>k</tex> ближайших векторов из базы <tex>\mathcal{D}</tex>: :<tex>\mathrm{kNN}(q) = \arg\!\min_{S \subset \mathcal{D},\, |S|=k} \sum_{v \in S} \|q - v\|.</tex> Библиотеки: FAISS, ScaNN, Annoy. Используют HNSW, IVF, Product Quantization. == Применения == Нейросетевые встраивания применяются в: * [[Обработка естественного языка|ОБР]] — перевод, анализ тональности, семантический поиск; * RAG-системах в контексте [[Промпт-инжиниринг|промпт-инжиниринга]]; * рекомендательных системах; * [[Обучение с подкреплением из обратной связи человека (RLHF)|RLHF]] — reward model использует эмбеддинги. == См. также == * [[Трансформер (модель)]] * [[Большая языковая модель]] * [[Механизм внимания]] * [[Промпт-инжиниринг]] * [[Обучение с подкреплением из обратной связи человека (RLHF)]] == Примечания == {{примечания}} == Литература == * {{книга|автор=Goodfellow I., Bengio Y., Courville A.|заглавие=Deep Learning|издательство=MIT Press|год=2016}} * {{статья|автор=Mikolov T. et al.|заглавие=Distributed Representations of Words and Phrases|издание=NeurIPS|год=2013}} * {{статья|автор=Pennington J. et al.|заглавие=GloVe: Global Vectors for Word Representation|издание=EMNLP|год=2014}} * {{статья|автор=Devlin J. et al.|заглавие=BERT: Pre-training of Deep Bidirectional Transformers|издание=NAACL|год=2019}} * {{статья|автор=Reimers N., Gurevych I.|заглавие=Sentence-BERT|издание=EMNLP|год=2019}} * {{статья|автор=Radford A. et al.|заглавие=Learning Transferable Visual Models From Natural Language Supervision (CLIP)|издание=ICML|год=2021}} [[Категория:Машинное обучение]] [[Категория:Нейронные сети]] [[Категория:Обработка естественного языка]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:\u043aнига
• Шаблон:\u0441татья
• Шаблон:Книга
• Шаблон:Примечания
• Шаблон:Статья

Возврат к странице Нейросетевое встраивание.