Обсуждение:Промпт-инъекция

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: == Промпт == Статья сгенерирована с помощью LLM '''Claude Opus 4.8''' и вычитана вручную. Приводятся оба промпта. ''...)
 
Строка 1: Строка 1:
-
== Промпт ==
+
P.s. - Я не сразу узнал что промпт нельзя тоже генерировать, так что все статьи пришлось переписывать.
-
Статья сгенерирована с помощью LLM '''Claude Opus 4.8''' и вычитана вручную. Приводятся оба промпта.
+
-
'''Основной промпт:'''
+
1: Напиши для вики MachineLearning.ru статью про промпт-инъекции. (используй вебпоиск и прочекай существующие на сайте статьи, бери пример оформления с других статей, проверяй актуальность, сейчас июль 2026) Пиши так чтоб было понятно и студенту и специалисту: сначала простое определение, потом подробнее. Учитывай ошибки предыдущих статей.
-
<pre>
+
-
Ты специалист по машинному обучению и безопасности ИИ, профессор в ведущем
+
-
техническом университете и популяризатор науки. Напиши статью «Промпт-инъекция»
+
-
для вики MachineLearning.ru в вики-разметке MediaWiki.
+
-
Статья должна быть полезна и новичку, и профессионалу. Без банальностей и «следов LLM».
+
2: Объясни, почему модель не отличает команды от данных, подробнее разбери виды инъекций (как то слишком мало получилось)
 +
Приведи лучше вообще примеры атаки. Добавь про последствия и меры защиты, и
 +
отдельно про джейлбрейк напиши.
-
Объясни природу уязвимости (модель не отличает доверенные инструкции от данных),
+
3: Перепроверь на наличие ошибок и связь с статьями
-
виды атак (прямая, косвенная, скрытая), связь с джейлбрейком, возможные последствия,
+
-
меры защиты (эшелонированная оборона, принцип наименьших привилегий, инструкционная
+
-
иерархия). Подчеркни, что это фундаментальная нерешённая проблема.
+
-
Оформление: жирное определение с термином в скобках «(англ. ...)»; разделы ==...==; внутренние ссылки
+
[[Участник:Iaroslav Lyakhov|Iaroslav Lyakhov]] 21:04, 5 июля 2026 (MSD)
-
[[...]] (Большая языковая модель, Агентный искусственный интеллект, RAG, Риски
+
-
искусственного интеллекта, Промпт-инжиниринг); ==См. также==, ==Литература==
+
-
(через * с шаблонами {{статья}}/{{cite web}}), категории. Объём ~500-650 слов.
+
-
</pre>
+
-
 
+
-
'''Уточняющий промпт (2-я итерация):'''
+
-
<pre>
+
-
Сделай отдельный подраздел про связь с джейлбрейком и явно разведи понятия:
+
-
джейлбрейк снимает ограничения самой модели, промпт-инъекция перехватывает логику
+
-
приложения. Добавь ссылку на OWASP Top-10 для LLM.
+
-
</pre>
+
-
 
+
-
[[Участник:Iaroslav Lyakhov|Iaroslav Lyakhov]] 20:14, 1 июля 2026 (MSD)
+

Текущая версия

P.s. - Я не сразу узнал что промпт нельзя тоже генерировать, так что все статьи пришлось переписывать.

1: Напиши для вики MachineLearning.ru статью про промпт-инъекции. (используй вебпоиск и прочекай существующие на сайте статьи, бери пример оформления с других статей, проверяй актуальность, сейчас июль 2026) Пиши так чтоб было понятно и студенту и специалисту: сначала простое определение, потом подробнее. Учитывай ошибки предыдущих статей.

2: Объясни, почему модель не отличает команды от данных, подробнее разбери виды инъекций (как то слишком мало получилось) Приведи лучше вообще примеры атаки. Добавь про последствия и меры защиты, и отдельно про джейлбрейк напиши.

3: Перепроверь на наличие ошибок и связь с статьями

Iaroslav Lyakhov 21:04, 5 июля 2026 (MSD)

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9F%D1%80%D0%BE%D0%BC%D0%BF%D1%82-%D0%B8%D0%BD%D1%8A%D0%B5%D0%BA%D1%86%D0%B8%D1%8F»
Личные инструменты