О чём урок
Документация | GitHub | Сообщество
В этом руководстве мы рассмотрим создание RAG-пайплайна и его оценку с помощью Phoenix Evals.
Оно состоит из следующих разделов:
- Понимание Retrieval Augmented Generation (RAG).
- Создание RAG (с помощью фреймворка, такого как LlamaIndex).
- Оценка RAG с помощью Phoenix Evals.
LLM обучаются на обширных наборах данных, но они не будут включать ваши специфические данные (такие как корпоративные базы знаний и документация). Retrieval-Augmented Generation (RAG) решает эту проблему, динамически включая ваши данные в качестве контекста в процессе генерации. Это достигается не путем изменения обучающих данных LLM, а путем предоставления модели доступа к вашим данным и их использования в реальном времени для получения более индивидуализированных и контекстуально релевантных ответов.
В RAG ваши данные загружаются и подготавливаются для запросов. Этот процесс называется индексацией. Пользовательские запросы действуют на этот индекс, который отфильтровывает ваши данные до наиболее релевантного контекста. Этот контекст и ваш запрос затем отправляются в LLM вместе с prompt, и LLM предоставляет ответ.
RAG является критически важным компонентом для создания таких приложений, как чат-боты или агенты, и вам потребуется знать RAG-техники для интеграции данных в ваше приложение.
Теперь, когда мы разобрались в этапах RAG, давайте построим пайплайн. Мы будем использовать LlamaIndex для RAG и Phoenix Evals для оценки.
В этом руководстве мы будем использовать Mistral для создания синтетических данных, а также для оценки.
В ходе этого руководства мы будем собирать все данные, необходимые для оценки нашего RAG-пайплайна с помощью Phoenix Tracing. Для этого просто запустите приложение Phoenix и инструментируйте LlamaIndex.
Включите Phoenix tracing с помощью LlamaIndexInstrumentor. Phoenix использует OpenInference traces — открытый стандарт для сбора и хранения traces LLM-приложений, который позволяет LLM-приложениям беспрепятственно интегрироваться с решениями для наблюдаемости LLM, такими как Phoenix.
Давайте используем эссе Пола Грэма для создания нашего RAG-пайплайна.
Создайте QueryEngine и начните выполнять запросы.
Проверьте ответ, который вы получаете от запроса.
Помните, что мы используем Phoenix Tracing для сбора всех…
План урока
- Retrieval Augmented Generation (RAG)
- Создание RAG-системы
- Загрузка данных и создание индекса
- Оценка ответов
- Заключение
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.