Обсуждение:Минимизация эмпирического риска
Материал из MachineLearning.
| Строка 26: | Строка 26: | ||
3. Сохрани всю строгую математику для профессионалов, но сопроводи её понятными текстовыми объяснениями.}} | 3. Сохрани всю строгую математику для профессионалов, но сопроводи её понятными текстовыми объяснениями.}} | ||
| - | === Этап 3: | + | === Этап 3: Анализ ограничений LLM при разметке === |
| - | + | На данном этапе была предпринята попытка автоматизировать расстановку тегов <nowiki><tex></nowiki> с помощью прямого промпта: | |
{{well|Проанализируй текст, который ты только что выдала. Ты проигнорировала правило о тегах <nowiki><tex></nowiki>! Из-за этого формулы отображаются на сайте как простой текст LaTeX. | {{well|Проанализируй текст, который ты только что выдала. Ты проигнорировала правило о тегах <nowiki><tex></nowiki>! Из-за этого формулы отображаются на сайте как простой текст LaTeX. | ||
| Строка 35: | Строка 35: | ||
3. Замени все маркдаун-списки (-) на стандартные вики-звездочки (*).}} | 3. Замени все маркдаун-списки (-) на стандартные вики-звездочки (*).}} | ||
| - | === Этап 4: Ручная доработка === | + | '''Рефлексия по итогам этапа:''' Данный шаг наглядно продемонстрировал фундаментальное ограничение современных LLM. Из-за архитектурных особенностей токенизации модели прекрасно оперируют крупными математическими концепциями и семантикой, но систематически ошибаются при попытке посимвольного форматирования текста (пропускают одиночные переменные, сбивают знаки препинания). Это подтверждает важность человека как критического редактора, превосходящего генеративные модели в задачах точной технической верификации. |
| - | + | ||
| - | * Все пропущенные переменные и индексы | + | === Этап 4: Ручная доработка и согласование обозначений === |
| - | + | Финальный вариант был детально отредактирован вручную для приведения текста в полное соответствие с лекциями К.В. Воронцова: | |
| - | * | + | * Все пропущенные переменные и индексы были вручную обёрнуты в теги <nowiki><tex>...</tex></nowiki>. |
| - | * | + | * Устранена критическая коллизия обозначений: буква <nowiki><tex>h</tex></nowiki> была закреплена исключительно за VC-размерностью, а шаг градиентного спуска изменён на каноничную греческую букву <nowiki><tex>\eta</tex></nowiki> (темп обучения). |
| + | * Приведён к строгому академическому стандарту порядок аргументов в функциях потерь: <nowiki><tex>\mathcal{L}(a(x), y)</tex></nowiki> (где первым аргументом выступает ответ модели, вторым — истинный ответ). | ||
| + | * Проведена викификация внутренних ссылок портала. | ||
| + | * Список литературы оформлен по шаблонам <nowiki>{{книга}}</nowiki>. | ||
Polina Khadralinova 20:48, 25 июня 2026 (MSD) | Polina Khadralinova 20:48, 25 июня 2026 (MSD) | ||
Текущая версия
Работа над статьёй велась в несколько этапов с использованием модели Gemini 3.1 Pro Preview. Поскольку старая версия статьи от 2008 года устарела и потеряла форматирование, было принято решение полностью переписать её с нуля, совместив академическую строгость с понятностью для новичков.
Содержание |
Этап 1: Проектирование и RAG-контекст
Для обеспечения максимального соответствия программе курса, в качестве контекста (Knowledge Base) модели на вход были поданы: 1. Исходный текст заготовки статьи от 2008 года на ML.ru. 2. PDF-презентация первой лекции К.В. Воронцова "Основные понятия машинного обучения".
Был сформулирован следующий первый системный промпт:
| Роль: Ты — ведущий академический исследователь, эксперт на стыке машинного обучения (ML) и философии науки.
Задача: Написать глубокую и объемную статью "Минимизация эмпирического риска" (ERM) для энциклопедии MachineLearning.ru, опираясь на предоставленные материалы первой лекции и старую заготовку статьи. Формат: MediaWiki-разметка. Математику строго оборачивать в теги <tex>...</tex>. Модель: Gemini 3.1 Pro Preview. Ограничения и структура: 1. Введение: связь эмпирической индукции и парадигмы обучения по прецедентам. 2. Исторический контекст: Гаусс, Рональд Фишер, Вапник и Червоненкис. 3. Ожидаемый и эмпирический риск: прописать формулы ожидаемого риска R(a) и эмпирического Q(a, X^\ell) с функциями потерь. 4. Переобучение и регуляризация (оценка VC-размерности). 5. Основные типы функций потерь (для регрессии и классификации) и методы оптимизации (градиентный спуск, SGD). |
Этап 2: Адаптация текста и уточнения
Первая генерация получилась излишне академичной и тяжелой для восприятия. Модели был отправлен второй уточняющий запрос на упрощение языка и внедрение жизненных примеров для начинающих.
|
| Текст получился слишком сложным. Твоя задача — сделать Введение и раздел "Ожидаемый и эмпирический риск" более доступными для понимания.
1. Добавь простую, интуитивно понятную аналогию из реальной жизни (например, подготовка школьника к ЕГЭ по математике по сборникам прошлых лет), которая объясняет разницу между истинным (ожидаемым) и эмпирическим риском. 2. Сделай предложения короче, убери излишний канцелярит. 3. Сохрани всю строгую математику для профессионалов, но сопроводи её понятными текстовыми объяснениями. |
Этап 3: Анализ ограничений LLM при разметке
На данном этапе была предпринята попытка автоматизировать расстановку тегов <tex> с помощью прямого промпта:
|
| Проанализируй текст, который ты только что выдала. Ты проигнорировала правило о тегах <tex>! Из-за этого формулы отображаются на сайте как простой текст LaTeX.
Перепиши всю статью заново, выполнив требования: 1. Абсолютно все формулы, переменные (включая одиночные латинские буквы X, Y, a, w, M, h, l), индексы и математические знаки оберни в теги <tex>...</tex>. 2. Выключные формулы начни с двойного двоеточия: ::<tex>...</tex> 3. Замени все маркдаун-списки (-) на стандартные вики-звездочки (*). |
Рефлексия по итогам этапа: Данный шаг наглядно продемонстрировал фундаментальное ограничение современных LLM. Из-за архитектурных особенностей токенизации модели прекрасно оперируют крупными математическими концепциями и семантикой, но систематически ошибаются при попытке посимвольного форматирования текста (пропускают одиночные переменные, сбивают знаки препинания). Это подтверждает важность человека как критического редактора, превосходящего генеративные модели в задачах точной технической верификации.
Этап 4: Ручная доработка и согласование обозначений
Финальный вариант был детально отредактирован вручную для приведения текста в полное соответствие с лекциями К.В. Воронцова:
- Все пропущенные переменные и индексы были вручную обёрнуты в теги <tex>...</tex>.
- Устранена критическая коллизия обозначений: буква <tex>h</tex> была закреплена исключительно за VC-размерностью, а шаг градиентного спуска изменён на каноничную греческую букву <tex>\eta</tex> (темп обучения).
- Приведён к строгому академическому стандарту порядок аргументов в функциях потерь: <tex>\mathcal{L}(a(x), y)</tex> (где первым аргументом выступает ответ модели, вторым — истинный ответ).
- Проведена викификация внутренних ссылок портала.
- Список литературы оформлен по шаблонам {{книга}}.
Polina Khadralinova 20:48, 25 июня 2026 (MSD)
