инструменты в Claude: Разработка с Claude API

О чём урок

Генерация с дополненным извлечением (RAG) — это техника, которая помогает вам работать с большими документами, слишком объемными для одного промпта. Вместо того чтобы втискивать все в один огромный промпт, RAG разбивает документы на чанки и включает только наиболее релевантные части при ответе на вопросы.

Представьте, что у вас есть 800-страничный финансовый документ, и вы хотите задать Claude конкретные вопросы о нем, например: "Какие факторы риска есть у этой компании?" Вам нужно каким-то образом передать соответствующую информацию из документа Claude, но существуют ограничения на объем текста, который можно включить в промпт.

Первый подход прост — извлеките весь текст из документа и поместите его в свой промпт вместе с вопросом пользователя. Этот подход имеет серьезные ограничения:

• Существует жесткое ограничение на длину промпта — ваш документ может быть слишком длинным
• Claude становится менее эффективным при очень длинных промптах
• Обработка более крупных промптов стоит дороже
• Обработка более крупных промптов занимает больше времени

RAG использует более умный подход. Сначала вы разбиваете документ на более мелкие чанки на этапе предварительной обработки. Затем, когда пользователь задает вопрос, вы находите чанки, наиболее релевантные его вопросу, и включаете в промпт только их.

Преимущества этого подхода:

• Claude может сосредоточиться только на наиболее релевантном контенте
• Масштабируется до очень больших документов
• Работает с несколькими документами
• Меньшие промпты стоят дешевле и выполняются быстрее

• Требуется этап предварительной обработки для разбиения документов на чанки
• Необходим механизм поиска для нахождения "релевантных" чанков
• Включенные чанки могут не содержать весь контекст, необходимый Claude
• Множество способов разбиения текста на чанки — какой подход лучше?

RAG обменивает простоту на масштабируемость и эффективность. Хотя для правильной реализации требуется больше предварительной работы, он позволяет работать с коллекциями документов, которые было бы невозможно обработать с помощью простого "запихивания" в промпт.

Разбиение текста на чанки является одним из наиболее важных шагов при построении конвейера RAG.

Разбиение на чанки по размеру — это самый простой подход: вы делите текст на…

План урока

1. Quiz on tool use with Claude
2. Введение в генерацию с дополненным извлечением (RAG)
3. Проблема с большими документами
4. Вариант 1: Включить все в промпт
5. Вариант 2: Разбиение документов на чанки
6. Проблемы с RAG
7. Стратегии разбиения текста на чанки
8. Разбиение на чанки по размеру