Что такое RAG

О чём урок

В мире больших языковых моделей (LLM), таких как Claude, способность обрабатывать и понимать огромные объемы информации является ключевой. Однако, когда речь заходит о работе с очень большими документами или целыми коллекциями документов, возникают определенные сложности. Именно здесь на помощь приходит техника, известная как Retrieval Augmented Generation (RAG), или Генерация с дополненным поиском. RAG позволяет Claude эффективно взаимодействовать с обширными источниками данных, извлекая только наиболее релевантные фрагменты информации для ответа на конкретный вопрос, вместо того чтобы пытаться обработать весь документ целиком.

Представьте, что у вас есть массивный финансовый отчет на 800 страниц, и вы хотите задать Claude конкретный вопрос, например: "Какие факторы риска у этой компании?". Ответ, безусловно, содержится в документе, но как предоставить Claude доступ к нужной информации, не сталкиваясь с ограничениями и не ухудшая производительность?

При работе с LLM, такими как Claude, существуют фундаментальные ограничения, связанные с размером контекстного окна. Это окно определяет максимальное количество токенов (слов или частей слов), которые модель может обработать за один раз. Если документ слишком велик, чтобы поместиться в это окно, Claude просто не сможет его прочитать.

Самый простой подход — это извлечь весь текст из документа и поместить его в один большой промпт, который затем будет отправлен Claude. На первый взгляд это кажется логичным, но такой метод имеет серьезные недостатки:

• Жесткие ограничения по токенам: Очень длинные документы просто не поместятся в контекстное окно Claude.
• Снижение эффективности: Claude становится менее эффективным при работе с чрезвычайно длинными промптами, так как ему приходится "просеивать" огромное количество информации, чтобы найти нужные детали.
• Высокая стоимость и время обработки: Большие промпты требуют больше вычислительных ресурсов, что приводит к увеличению затрат и замедлению времени ответа.
• Ухудшение производительности: Когда в промпте слишком много информации, Claude может "запутаться" или упустить важные детали, что снижает качество ответов.

RAG предлагает гораздо более интеллектуальный подход. Вместо того чтобы пытаться передать весь документ в Claude, RAG предварительно…

План урока

1. Введение в Retrieval Augmented Generation (RAG)
2. Проблема работы с большими документами
3. Вариант 1: Включение всего документа в промпт
4. RAG: Умный подход к работе с информацией
5. Преимущества использования RAG
6. Вызовы и соображения при использовании RAG
7. Когда стоит использовать RAG?