Обсуждение:Позиционное кодирование

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: == Промпт == Статья сгенерирована с помощью LLM '''Claude Opus 4.8''' и вычитана вручную. Приводятся оба промпта (о...)
 
Строка 1: Строка 1:
-
== Промпт ==
+
P.s. - Я не сразу узнал что промпт нельзя тоже генерировать, так что все статьи пришлось переписывать.
-
Статья сгенерирована с помощью LLM '''Claude Opus 4.8''' и вычитана вручную. Приводятся оба промпта (основной и уточняющий).
+
-
'''Основной промпт:'''
+
1:
-
<pre>
+
Напиши для вики MachineLearning.ru статью про позиционное кодирование
-
Ты специалист по машинному обучению, профессор в ведущем техническом университете
+
в трансформерах. (используй вебпоиск и прочекай существующие на сайте статьи, бери пример оформления с других статей, проверяй актуальность, сейчас июль 2026) Пиши так чтоб было понятно и студенту и специалисту: сначала простое определение, потом подробнее. Учитывай ошибки предыдущей статьи.
-
и популяризатор науки. Напиши статью «Позиционное кодирование» для вики
+
-
MachineLearning.ru в вики-разметке MediaWiki.
+
-
Статья должна быть полезна и новичку (понятные определения, популярные объяснения),
+
2:
-
и профессионалу (актуальные результаты, ссылки на первоисточники). Без банальностей
+
разбери отдельно виды кодирования чуть глубже, относительное кодирование, RoPE и ALiBi. Приведи формулы нужные и расширь связь с остальным контентом
-
и «следов LLM».
+
-
Объясни, почему трансформеру нужна информация о порядке (перестановочная
+
3:
-
инвариантность внимания), разбери абсолютное синусоидальное и обучаемое кодирование,
+
Перепроверь на наличие ошибок и связь с статьями
-
относительное кодирование, а также современные подходы RoPE и ALiBi. Свяжи с задачей
+
-
расширения контекстного окна.
+
-
Оформление: жирное определение с термином в скобках «(англ. ...)»; разделы ==...==; формулы через
+
[[Участник:Iaroslav Lyakhov|Iaroslav Lyakhov]] 20:07, 5 июля 2026 (MSD)
-
<tex>...</tex>; внутренние ссылки [[...]]; в конце ==См. также==, ==Литература==
+
-
(через * с шаблонами {{статья}}/{{cite web}}), категории. Объём ~500-650 слов.
+
-
</pre>
+
-
 
+
-
'''Уточняющий промпт (2-я итерация):'''
+
-
<pre>
+
-
Добавь формулу синусоидального кодирования и коротко поясни интуицию RoPE
+
-
(поворот векторов запроса и ключа на угол, пропорциональный позиции, так что
+
-
скалярное произведение зависит от относительного сдвига). Проверь, что все
+
-
приведённые работы реальны.
+
-
</pre>
+
-
 
+
-
[[Участник:Iaroslav Lyakhov|Iaroslav Lyakhov]] 20:11, 1 июля 2026 (MSD)
+

Текущая версия

P.s. - Я не сразу узнал что промпт нельзя тоже генерировать, так что все статьи пришлось переписывать.

1: Напиши для вики MachineLearning.ru статью про позиционное кодирование в трансформерах. (используй вебпоиск и прочекай существующие на сайте статьи, бери пример оформления с других статей, проверяй актуальность, сейчас июль 2026) Пиши так чтоб было понятно и студенту и специалисту: сначала простое определение, потом подробнее. Учитывай ошибки предыдущей статьи.

2: разбери отдельно виды кодирования чуть глубже, относительное кодирование, RoPE и ALiBi. Приведи формулы нужные и расширь связь с остальным контентом

3: Перепроверь на наличие ошибок и связь с статьями

Iaroslav Lyakhov 20:07, 5 июля 2026 (MSD)

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9F%D0%BE%D0%B7%D0%B8%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5»