Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 122 · Текст · ~5 мин

Наблюдаемость RAG в Phoenix

Урок 122 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Документация | GitHub | Сообщество

В этом руководстве мы рассмотрим создание RAG-пайплайна и его оценку с помощью Phoenix Evals.

Оно состоит из следующих разделов:

  1. Понимание Retrieval Augmented Generation (RAG).
  2. Создание RAG (с помощью фреймворка, такого как LlamaIndex).
  3. Оценка RAG с помощью Phoenix Evals.

LLM обучаются на обширных наборах данных, но они не будут включать ваши специфические данные (такие как корпоративные базы знаний и документация). Retrieval-Augmented Generation (RAG) решает эту проблему, динамически включая ваши данные в качестве контекста в процессе генерации. Это достигается не путем изменения обучающих данных LLM, а путем предоставления модели доступа к вашим данным и их использования в реальном времени для получения более индивидуализированных и контекстуально релевантных ответов.

В RAG ваши данные загружаются и подготавливаются для запросов. Этот процесс называется индексацией. Пользовательские запросы действуют на этот индекс, который отфильтровывает ваши данные до наиболее релевантного контекста. Этот контекст и ваш запрос затем отправляются в LLM вместе с prompt, и LLM предоставляет ответ.

RAG является критически важным компонентом для создания таких приложений, как чат-боты или агенты, и вам потребуется знать RAG-техники для интеграции данных в ваше приложение.

Теперь, когда мы разобрались в этапах RAG, давайте построим пайплайн. Мы будем использовать LlamaIndex для RAG и Phoenix Evals для оценки.

В этом руководстве мы будем использовать Mistral для создания синтетических данных, а также для оценки.

В ходе этого руководства мы будем собирать все данные, необходимые для оценки нашего RAG-пайплайна с помощью Phoenix Tracing. Для этого просто запустите приложение Phoenix и инструментируйте LlamaIndex.

Включите Phoenix tracing с помощью LlamaIndexInstrumentor. Phoenix использует OpenInference traces — открытый стандарт для сбора и хранения traces LLM-приложений, который позволяет LLM-приложениям беспрепятственно интегрироваться с решениями для наблюдаемости LLM, такими как Phoenix.

Давайте используем эссе Пола Грэма для создания нашего RAG-пайплайна.

Создайте QueryEngine и начните выполнять запросы.

Проверьте ответ, который вы получаете от запроса.

Помните, что мы используем Phoenix Tracing для сбора всех…

План урока

  1. Retrieval Augmented Generation (RAG)
  2. Создание RAG-системы
  3. Загрузка данных и создание индекса
  4. Оценка ответов
  5. Заключение

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды