Наблюдаемость RAG в Phoenix

О чём урок

Документация | GitHub | Сообщество В этом руководстве мы рассмотрим создание RAG-пайплайна и его оценку с помощью Phoenix Evals. Оно состоит из следующих разделов: Понимание Retrieval Augmented Generation (RAG). Создание RAG (с помощью фреймворка, такого как LlamaIndex). Оценка RAG с помощью Phoenix Evals. LLM обучаются на обширных наборах данных, но они не будут включать ваши специфические данные (такие как корпоративные базы знаний и документация). Retrieval-Augmented Generation (RAG) решает эту проблему, динамически включая ваши данные в качестве контекста в процессе генерации. Это достигается не путем изменения обучающих данных LLM, а путем предоставления модели доступа к вашим данным и их использования в реальном времени для получения более индивидуализированных и контекстуально релевантных ответов. В RAG ваши данные загружаются и подготавливаются для запросов. Этот процесс называется индексацией. Пользовательские запросы действуют на этот индекс, который отфильтровывает ваши данные до наиболее релевантного контекста. Этот контекст и ваш запрос затем отправляются в LLM вместе с prompt, и LLM предоставляет ответ. RAG является критически важным компонентом для создания таких приложений, как чат-боты или агенты, и вам потребуется знать RAG-техники для интеграции данных в ваше приложение. Теперь, когда мы разобрались в этапах RAG, давайте построим пайплайн. Мы будем использовать LlamaIndex для RAG и Phoenix Evals для оценки. В этом руководстве мы будем использовать Mistral для создания синтетических данных, а также для оценки. В ходе этого руководства мы будем собирать все данные, необходимые для оценки нашего RAG-пайплайна с помощью Phoenix Tracing. Для этого просто запустите приложение Phoenix и инструментируйте LlamaIndex. Включите Phoenix tracing с помощью LlamaIndexInstrumentor. Phoenix использует OpenInference traces — открытый стандарт для сбора и хранения traces LLM-приложений, который позволяет LLM-приложениям беспрепятственно интегрироваться с решениями для наблюдаемости LLM, такими как Phoenix. Давайте используем эссе Пола Грэма для создания нашего RAG-пайплайна. Создайте QueryEngine и начните выполнять запросы. Проверьте ответ, который вы получаете от запроса.

План урока

1. Retrieval Augmented Generation (RAG)
2. Создание RAG-системы
3. Загрузка данных и создание индекса
4. Оценка ответов
5. Заключение