RAG

Материал из MachineLearning.

Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Iaroslav Lyakhov 21:21, 5 июля 2026 (MSD)

Содержание 1 Зачем нужен 2 Как устроен 2.1 Индексация (офлайн) 2.2 Извлечение и генерация (онлайн) 3 Ключевые компоненты 4 Нарезка и качество поиска 5 Проблемы 6 Развитие 7 RAG или дообучение 8 См. также 9 Литература

RAG (англ. retrieval-augmented generation - генерация с дополнением извлечёнными знаниями) - архитектурный подход, при котором языковая модель перед формированием ответа извлекает релевантные документы из внешнего хранилища и использует их как контекст. RAG соединяет параметрическую память модели (знания, «зашитые» в её веса) с непараметрической (внешняя база, которую можно менять в любой момент). Такой подход повышает фактическую точность ответов, позволяет ссылаться на источники и заметно снижает галлюцинации. Термин введён в работе Facebook AI Research (Lewis et al., 2020).

Зачем нужен

Знания обычной LLM «заморожены» на момент обучения: их трудно обновлять, а проследить, откуда взялось конкретное утверждение, невозможно. RAG решает сразу несколько проблем:

• Актуальность. Внешнюю базу можно обновлять без переобучения модели.
• Достоверность. Ответ опирается на конкретные документы, которые можно процитировать и проверить.
• Приватность и специализация. К модели подключают закрытые корпоративные или узкопредметные данные, не вливая их в обучающую выборку.
• Экономичность. Не нужно дорогостоящее дообучение под каждую новую коллекцию знаний.

Как устроен

Типичный конвейер RAG состоит из двух фаз.

Индексация (офлайн)

1. Документы нарезаются на фрагменты (chunking).
2. Каждый фрагмент кодируется в векторное представление моделью-эмбеддером.
3. Векторы складываются в векторную базу данных (FAISS, Milvus, Qdrant и др.), где по ним можно быстро искать ближайших соседей.

Извлечение и генерация (онлайн)

1. Запрос пользователя кодируется в вектор тем же эмбеддером.
2. По близости (обычно косинусной) находятся наиболее релевантных фрагментов - это семантический поиск: ищут по смыслу, а не по точному совпадению слов.
3. Найденные фрагменты добавляются в промпт вместе с вопросом.
4. Модель генерирует ответ, опираясь на предоставленный контекст, и при необходимости приводит ссылки на источники.

Ключевые компоненты

• Ретривер (retriever) отвечает за поиск. Разреженный ретривер (например, BM25) ищет по совпадению ключевых слов; плотный (dense) - по близости эмбеддингов и находит смысловые совпадения даже при разных формулировках; на практике часто комбинируют оба (гибридный поиск).
• Реранкер (re-ranker) переупорядочивает найденных кандидатов более точной, но дорогой моделью, чтобы наверх попали действительно релевантные фрагменты.
• Генератор - собственно LLM, которая формирует итоговый ответ.

Нарезка и качество поиска

Качество ответа в RAG во многом определяется поиском: если наверх попали нерелевантные фрагменты, модель ответит по ним же неверно (принцип «мусор на входе - мусор на выходе»). Поэтому важны и способ нарезки документов (слишком мелкие куски теряют контекст, слишком крупные размывают релевантность), и качество эмбеддера, и наличие реранкера.

Проблемы

• Ответ ограничен качеством поиска: пропущенный или нерелевантный фрагмент портит результат.
• Чувствительность к способу нарезки и размеру фрагментов.
• Ограничение длины контекста: в промпт помещается лишь несколько фрагментов.
• Модель может проигнорировать переданный контекст и ответить «из памяти».

Развитие

Направление активно развивается: agentic RAG (модель сама решает, что и когда искать, и делает несколько итераций поиска), GraphRAG (поиск по графу знаний, а не только по отдельным фрагментам), итеративное и многошаговое извлечение для сложных вопросов.

RAG или дообучение

RAG и дообучение (fine-tuning) решают разные задачи: дообучение меняет поведение и стиль модели, а RAG снабжает её свежими фактами. На практике подходы дополняют друг друга: модель дообучают под формат и тон ответов, а актуальные знания подают через RAG.

См. также

• Большая языковая модель
• Галлюцинации языковых моделей
• Векторное представление (эмбеддинг)
• Векторная база данных
• Промпт-инжиниринг

Литература

• Lewis P. и др. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // Advances in Neural Information Processing Systems (NeurIPS). — 2020.
• Karpukhin V. и др. Dense Passage Retrieval for Open-Domain Question Answering // Proc. of EMNLP. — 2020.
• Gao Y. и др. Retrieval-Augmented Generation for Large Language Models: A Survey // Препринт arXiv:2312.10997. — 2023.