Полный цикл RAG: От запроса к точному ответу с Claude
В мире больших языковых моделей (LLM), таких как Claude, способность генерировать связные и креативные ответы поражает. Однако их знания ограничены данными, на которых они были обучены. Что делать, если нам нужно, чтобы Claude отвечал на вопросы, используя самую свежую, специфическую или конфиденциальную информацию, которой нет в его тренировочных данных? Здесь на помощь приходит Retrieval Augmented Generation (RAG) — мощный подход, который позволяет LLM "заглядывать" во внешние источники знаний в реальном времени, значительно повышая точность и релевантность ответов.
RAG — это не просто поиск информации; это интеллектуальный процесс, который извлекает наиболее релевантные данные и предоставляет их LLM в качестве контекста для генерации ответа. Давайте пошагово разберем, как работает полный цикл RAG, от подготовки ваших данных до получения ответа от Claude.
Шаг 1: Подготовка данных — Разделение текста на фрагменты (Chunking)
Первый этап в любом RAG-процессе — это подготовка вашего исходного документа или набора документов. Большие тексты не могут быть полностью переданы LLM из-за ограничений на размер контекстного окна (количество токенов, которые модель может обработать за один раз). Поэтому мы разбиваем исходный текст на более мелкие, управляемые фрагменты (chunks).
Представьте, что у нас есть два простых раздела из более крупного документа:
- Раздел 1: Медицинские исследования -
"В этом году были достигнуты значительные успехи в нашем понимании XDR-47, 'бактерии', которую мы не видели раньше." - Раздел 2: Разработка программного обеспечения -
"Этот отдел приложил значительные усилия для изучения различных векторов заражения в наших распределенных системах."
Каждый из этих фрагментов достаточно мал, чтобы быть обработанным индивидуально, но при этом содержит достаточно информации для сохранения смысла.
Шаг 2: Создание эмбеддингов (Embeddings)
После того как текст разбит на фрагменты, следующим шагом является преобразование каждого фрагмента в числовое представление, называемое эмбеддингом (embedding). Эмбеддинги — это многомерные векторы (списки чисел), которые улавливают семантическое значение текста. Тексты со схожим смыслом будут иметь эмбеддинги, расположенные близко друг к другу в многомерном пространстве.
Для простоты понимания, давайте представим, что у нас есть идеальная модель эмбеддингов, которая всегда возвращает ровно два числа, и мы знаем, что каждое число представляет:
- Первое число показывает, насколько текст относится к медицинской области.
- Второе число показывает, насколько текст относится к разработке программного обеспечения.
Для нашего Раздела 1 (Медицинские исследования), мы могли бы получить вектор, который сильно ориентирован на медицину, но с некоторыми элементами программного обеспечения из-за слова "бактерии" (bug, которое может быть и программной ошибкой). Например, [0.8, 0.2].
Для Раздела 2 (Разработка программного обеспечения), мы бы получили вектор, сильно ориентированный на программное обеспечение, но с медицинскими оттенками из-за "векторов заражения" (infection vectors). Например, [0.1, 0.9].
Обычно API для создания эмбеддингов также выполняет шаг нормализации, который масштабирует каждый вектор так, чтобы его длина (магнитуда) была равна 1.0. Это техническая деталь, которая помогает в последующих вычислениях сходства, и вам не нужно беспокоиться о математике — это происходит автоматически.
Шаг 3: Хранение эмбеддингов в векторной базе данных (Vector Database)
Созданные эмбеддинги затем сохраняются в специализированной базе данных, называемой векторной базой данных (vector database). Эти базы данных оптимизированы для эффективного хранения, сравнения и поиска среди огромных списков чисел (векторов). В отличие от традиционных реляционных баз данных, векторные базы данных специально разработаны для быстрого поиска ближайших соседей в многомерном пространстве.
На этом этапе предварительная обработка данных завершена. Все фрагменты текста преобразованы в числовые векторы и готовы к быстрому поиску. Теперь система ждет запроса от пользователя.
Шаг 4: Обработка пользовательского запроса
Когда пользователь задает вопрос, например: "Мне интересно о компании. В частности, что делал отдел разработки программного обеспечения в этом году?", этот запрос также пропускается через ту же самую модель эмбеддингов, которая использовалась для создания эмбеддингов исходных документов.
Наш пример запроса будет преобразован в эмбеддинг, который, вероятно, будет иметь низкий "медицинский" балл и высокий "программный" балл. Например, [0.15, 0.85] после нормализации.
Шаг 5: Поиск похожих эмбеддингов и релевантной информации
Эмбеддинг пользовательского запроса отправляется в векторную базу данных, которая затем ищет наиболее похожие (наиболее "близкие") хранимые эмбеддинги. База данных возвращает те фрагменты текста, чьи эмбеддинги максимально соответствуют эмбеддингу запроса.
Как работает сходство: Косинусное сходство (Cosine Similarity)
Векторные базы данных используют метрику, называемую косинусным сходством (cosine similarity), для определения того, насколько два эмбеддинга похожи. Эта метрика измеряет косинус угла между двумя векторами в многомерном пространстве. Чем меньше угол между векторами, тем выше их косинусное сходство, и тем более похожи соответствующие им тексты.
Ключевые моменты о косинусном сходстве:
- Результаты варьируются от -1 до 1.
- Значения, близкие к 1, означают высокое сходство (векторы указывают в одном направлении).
- Значения, близкие к -1, означают очень сильное различие (векторы указывают в противоположных направлениях).
- Значение 0 означает, что векторы перпендикулярны (нет линейной зависимости, или "нет отношения").
В нашем примере, косинусное сходство между запросом пользователя и фрагментом о разработке программного обеспечения может быть очень высоким, например, 0.983. Сходство с фрагментом о медицинских исследованиях будет значительно ниже, например, 0.398.
Вы также можете встретить термин "косинусное расстояние" (cosine distance) в документации векторных баз данных. Оно просто рассчитывается как (1 - косинусное сходство). При использовании косинусного расстояния:
- Значения, близкие к 0, означают высокое сходство.
- Большие значения означают меньшее сходство.
Эта корректировка делает числа более интуитивно понятными во многих контекстах, так как меньшее расстояние обычно ассоциируется с большей близостью.
Шаг 6: Формирование итогового промпта для Claude
Наконец, когда наиболее релевантные фрагменты текста найдены, мы объединяем их с исходным вопросом пользователя в единый промпт (prompt) и отправляем его Claude для генерации ответа. Этот промпт специально структурирован так, чтобы Claude понимал, какая часть является вопросом, а какая — предоставленным контекстом.
Пример такого промпта может выглядеть так:
Ответьте на вопрос пользователя, используя предоставленный отчет.
<user_question>
Что делал отдел разработки программного обеспечения в этом году?
</user_question>
<report>
<h2>Раздел 2: Разработка программного обеспечения</h2>
Этот отдел приложил значительные усилия для изучения различных векторов заражения в наших распределенных системах.
</report>Claude получает этот промпт, анализирует вопрос пользователя в свете предоставленного контекста из <report> и генерирует точный, обоснованный ответ, который напрямую использует извлеченную информацию. Таким образом, Claude не "выдумывает" ответ, а опирается на фактические данные, которые вы ему предоставили.
Заключение
Именно так работает полный цикл RAG! Система успешно извлекает наиболее релевантную информацию на основе семантического сходства и предоставляет ее в качестве контекста для Claude, обеспечивая генерацию точного и информативного ответа. RAG является краеугольным камнем для создания интеллектуальных систем, которые могут взаимодействовать с огромными объемами данных, предоставляя пользователям актуальные и достоверные ответы, выходящие за рамки первоначальных знаний LLM.
Этот подход открывает двери для создания чат-ботов, способных отвечать на вопросы о внутренних документах компании, медицинских исследованиях, юридических текстах или любой другой специфической информации, делая LLM, такие как Claude, невероятно мощными и универсальными инструментами.