Обсуждение:Нейросетевое встраивание

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Второй промпт)
(Убран голый тег tex из текста обсуждения)
 
(1 промежуточная версия не показана)
Строка 3: Строка 3:
Промпт, использованный для генерации статьи «Нейросетевое встраивание» с помощью LLM Claude Sonnet 4:
Промпт, использованный для генерации статьи «Нейросетевое встраивание» с помощью LLM Claude Sonnet 4:
-
Напиши подробную энциклопедическую статью для вики-сайта MachineLearning.ru
+
<pre><nowiki>
-
на тему «Нейросетевое встраивание» (neural network embeddings) на русском языке.
+
Напиши подробную энциклопедическую статью для вики-сайта MachineLearning.ru
-
+
на тему «Нейросетевое встраивание» (neural network embeddings) на русском языке.
-
Требования:
+
-
1. Структура: основная идея, словесные эмбеддинги (Word2Vec, GloVe, FastText),
+
-
контекстуальные эмбеддинги (ELMo, BERT, Sentence Transformers),
+
-
графовые и мультимодальные эмбеддинги, поиск ANN, применения.
+
-
2. Формат: wiki-разметка MediaWiki, заголовки ==, математика <tex>...</tex>.
+
-
3. Минимум 5 внутренних ссылок.
+
-
4. Категории: Машинное обучение, Нейронные сети, Обработка естественного языка.
+
-
5. Раздел Литература с 4-6 источниками.
+
-
6. Формулы: функция встраивания, Skip-gram loss, GloVe, kNN.
+
-
7. Шаблон well добавить отдельно.
+
-
-- Emil Petrov
+
Требования:
 +
1. Структура: основная идея, словесные эмбеддинги (Word2Vec, GloVe, FastText),
 +
контекстуальные эмбеддинги (ELMo, BERT, Sentence Transformers),
 +
графовые и мультимодальные эмбеддинги, поиск ANN, применения.
 +
2. Формат: wiki-разметка MediaWiki, заголовки ==, математика <tex>...</tex>.
 +
3. Минимум 5 внутренних ссылок.
 +
4. Категории: Машинное обучение, Нейронные сети, Обработка естественного языка.
 +
5. Раздел Литература с 4-6 источниками.
 +
6. Формулы: функция встраивания, Skip-gram loss, GloVe, kNN.
 +
7. Шаблон well добавить отдельно.
 +
</nowiki></pre>
 +
 
 +
Emil Petrov
== Второй промпт ==
== Второй промпт ==
-
Улучшенный «философский» промпт для переработки статьи до энциклопедического уровня 5/5
+
Первый промпт был слишком «чеклистным». Переписал целеуказание в духе рекомендаций курса (роль + аудитория + смысл) и перегенерировал статью '''14 июля 2026'''.
-
(использован при подготовке версии от 14 июля 2026; результат сверен с первоисточниками):
+
 
 +
Модель: Claude Sonnet 4.
 +
 
 +
<pre><nowiki>
 +
Ты специалист в области машинного обучения, профессор ведущего технического университета и популяризатор науки.
 +
 
 +
Напиши энциклопедическую статью для MachineLearning.ru про нейросетевое встраивание (embeddings).
 +
Статья должна быть полезна новичку (понятная аналогия «близкий смысл → близкий вектор», ясные определения) и профессионалу (формулы Skip-gram/GloVe/contrastive, ANN-поиск, оценка STS/MTEB, ловушки hubness/domain shift).
 +
 
 +
Сделай линию: статические эмбеддинги (Word2Vec, GloVe, FastText) → контекстные (ELMo, BERT) → sentence embeddings (SBERT, SimCSE) → мультимодальность (CLIP) → кратко графы → ANN (HNSW и др.) → применения и связь с LLM/RAG.
-
Ты — редактор энциклопедии MachineLearning.ru. Создай идеальную статью
+
Формат: MediaWiki; формулы только в <tex> латиницей/символами (кириллицу в tex не ставить); внутренние ссылки; литература через {{статья}}/{{книга}}; без выдуманных DOI.
-
«Нейросетевое встраивание»: от интуиции «близкий смысл → близкий вектор»
+
</nowiki></pre>
-
до рабочих деталей обучения и поиска.
+
-
Обязательное содержание:
+
После генерации вручную: проверил формулы и ссылки, убрал кириллицу из формул (теги tex), усилил связность с [[Большая языковая модель]], [[Трансформер (модель)]], [[Механизм внимания]], [[Промпт-инжиниринг]].
-
- Определение f: X → R^d; косинусная близость; типичные размерности.
+
-
- Word2Vec (CBOW/Skip-gram + формула), GloVe, FastText / subword.
+
-
- Контекст: ELMo, BERT; почему сырой BERT слаб как sentence embedding.
+
-
- SBERT; контрастивное обучение (InfoNCE), SimCSE; CLIP как мультимодальный пример.
+
-
- Кратко графовые эмбеддинги (DeepWalk/Node2Vec).
+
-
- ANN: kNN-формула, HNSW, IVF, PQ; FAISS и др.; переиндексация при смене модели.
+
-
- Оценка: STS, MTEB/BEIR, downstream RAG; ловушки (hubness, domain shift, bias).
+
-
- Связь с LLM, вниманием, промпт-инжинирингом/RAG, RLHF, диффузионными моделями.
+
-
- Исправление ошибок старых черновиков: не «ОБР», а «обработка естественного языка»;
+
-
корректные шаблоны {{статья}}/{{книга}} без битых Unicode-escape.
+
-
- Оформление: {{well|Статья написана с использованием LLM '''Claude Sonnet 4''' и проверена участником [[Участник:Emil Petrov|Emil Petrov]] 20:15, 14 июля 2026 (MSD)
+
-
Промпт приводится полностью в [[Обсуждение:Нейросетевое встраивание]]
+
-
}},
+
-
{{TOCright}}, литература с реальными источниками, объём 18–28 КБ UTF-8.
+
-
'''Примечание о верификации.''' Статья проверена участником [[Участник:Emil Petrov|Emil Petrov]] 14 июля 2026: сверены формулы Skip-gram/GloVe/contrastive/kNN, ключевые цитирования (Mikolov, Pennington, Devlin, Reimers, Radford, Malkov) и терминология. Эмпирические утверждения о качестве BERT/SBERT следует читать как обобщение литературы, а не как результат локального бенчмарка редакции.
+
[[Участник:Emil Petrov|Emil Petrov]] 14 июля 2026

Текущая версия

Промпт для генерации статьи

Промпт, использованный для генерации статьи «Нейросетевое встраивание» с помощью LLM Claude Sonnet 4:

Напиши подробную энциклопедическую статью для вики-сайта MachineLearning.ru
на тему «Нейросетевое встраивание» (neural network embeddings) на русском языке.

Требования:
1. Структура: основная идея, словесные эмбеддинги (Word2Vec, GloVe, FastText),
   контекстуальные эмбеддинги (ELMo, BERT, Sentence Transformers),
   графовые и мультимодальные эмбеддинги, поиск ANN, применения.
2. Формат: wiki-разметка MediaWiki, заголовки ==, математика <tex>...</tex>.
3. Минимум 5 внутренних ссылок.
4. Категории: Машинное обучение, Нейронные сети, Обработка естественного языка.
5. Раздел Литература с 4-6 источниками.
6. Формулы: функция встраивания, Skip-gram loss, GloVe, kNN.
7. Шаблон well добавить отдельно.

— Emil Petrov

Второй промпт

Первый промпт был слишком «чеклистным». Переписал целеуказание в духе рекомендаций курса (роль + аудитория + смысл) и перегенерировал статью 14 июля 2026.

Модель: Claude Sonnet 4.

Ты специалист в области машинного обучения, профессор ведущего технического университета и популяризатор науки.

Напиши энциклопедическую статью для MachineLearning.ru про нейросетевое встраивание (embeddings).
Статья должна быть полезна новичку (понятная аналогия «близкий смысл → близкий вектор», ясные определения) и профессионалу (формулы Skip-gram/GloVe/contrastive, ANN-поиск, оценка STS/MTEB, ловушки hubness/domain shift).

Сделай линию: статические эмбеддинги (Word2Vec, GloVe, FastText) → контекстные (ELMo, BERT) → sentence embeddings (SBERT, SimCSE) → мультимодальность (CLIP) → кратко графы → ANN (HNSW и др.) → применения и связь с LLM/RAG.

Формат: MediaWiki; формулы только в <tex> латиницей/символами (кириллицу в tex не ставить); внутренние ссылки; литература через {{статья}}/{{книга}}; без выдуманных DOI.

После генерации вручную: проверил формулы и ссылки, убрал кириллицу из формул (теги tex), усилил связность с Большая языковая модель, Трансформер (модель), Механизм внимания, Промпт-инжиниринг.

Emil Petrov 14 июля 2026

Личные инструменты