Обсуждение:Токенизация

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: == Промпт == Статья сгенерирована с помощью LLM '''Claude Opus 4.8''' и вычитана вручную. Промпт приводится дослов...)
 
(2 промежуточные версии не показаны)
Строка 1: Строка 1:
-
== Промпт ==
+
P.s. - Я не сразу узнал что промпт нельзя тоже генерировать, так что все статьи пришлось переписывать.
-
Статья сгенерирована с помощью LLM '''Claude Opus 4.8''' и вычитана вручную. Промпт приводится дословно.
+
-
<pre>
+
1:
-
Ты специалист по машинному обучению, профессор в ведущем техническом университете
+
Напиши для вики MachineLearning.ru статью про токенизацию текста (используй вебпоиск и прочекай существующие на сайте статьи, бери пример оформления с других статей, проверяй актуальность, сейчас июль 2026)
-
и популяризатор науки. Напиши статью «Токенизация» для вики MachineLearning.ru
+
Пиши так чтоб было понятно и студенту и специалисту: сначала простое
-
в вики-разметке MediaWiki.
+
определение, потом подробнее.
-
Статья должна быть полезна как новичку (понятно даются определения, популярно
+
2:
-
объясняются идеи), так и профессионалу (актуальные результаты, ссылки на
+
Слишком обще получилось, расширь некоторые темы, приведи примеры, например как
-
первоисточники). Читатель-эксперт должен узнать что-то новое и дочитать до конца -
+
слово разбивается на подслова и может уточнения по каким нибудь пунктам.
-
не пиши банальностей и «следов LLM».
+
-
Раскрой: зачем нужна токенизация, противоречие «слова против символов», подсловные
+
3:
-
методы (BPE, WordPiece, Unigram, byte-level BPE) и практические подводные камни
+
Добавь ещё раздел про специальные токены. Литературу оформи
-
(неравномерность по языкам, «токены - не слова», влияние на счёт букв и арифметику,
+
как в других статьях, проверь все ли работы реальные.
-
тарификация в токенах).
+
Убери слишком сложно составленную речь
-
Оформление: жирное определение термина с англоязычным вариантом в скобках «(англ. ...)»; разделы ==...==; внутренние
+
[[Участник:Iaroslav Lyakhov|Iaroslav Lyakhov]] 19:22, 5 июля 2026 (MSD)
-
ссылки [[...]] на смежные понятия (Трансформер, Embedding, Большая языковая модель,
+
-
Обработка естественного языка); в конце ==См. также==, ==Литература== (ненумерованный
+
-
список через * с шаблонами {{статья}}/{{cite web}}) и категории [[Категория:...]].
+
-
Объём ~500-700 слов.
+
-
</pre>
+
-
 
+
-
[[Участник:Iaroslav Lyakhov|Iaroslav Lyakhov]] 19:59, 1 июля 2026 (MSD)
+
-
 
+
-
== Связь с материалом курса ==
+
-
Тема статьи соответствует материалу лекции 5 «Обучаемая векторизация данных» (векторные представления текстов, трансформеры) курса «Философия. Введение в ИИ» (К. В. Воронцов, Иннополис).
+

Текущая версия

P.s. - Я не сразу узнал что промпт нельзя тоже генерировать, так что все статьи пришлось переписывать.

1: Напиши для вики MachineLearning.ru статью про токенизацию текста (используй вебпоиск и прочекай существующие на сайте статьи, бери пример оформления с других статей, проверяй актуальность, сейчас июль 2026) Пиши так чтоб было понятно и студенту и специалисту: сначала простое определение, потом подробнее.

2: Слишком обще получилось, расширь некоторые темы, приведи примеры, например как слово разбивается на подслова и может уточнения по каким нибудь пунктам.

3: Добавь ещё раздел про специальные токены. Литературу оформи как в других статьях, проверь все ли работы реальные. Убери слишком сложно составленную речь

Iaroslav Lyakhov 19:22, 5 июля 2026 (MSD)

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F»