Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 173 · Текст · ~5 мин

Оценка RAG с LlamaIndex

Урок 173 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook мы рассмотрим создание RAG пайплайна и его оценку с помощью LlamaIndex. Он состоит из следующих 3 разделов.

  1. Понимание Retrieval Augmented Generation (RAG).
  2. Создание RAG с помощью LlamaIndex.
  3. Оценка RAG с помощью LlamaIndex.

Retrieval Augmented Generation (RAG)

LLM обучаются на огромных наборах данных, но они не будут включать ваши специфические данные. Retrieval-Augmented Generation (RAG) решает эту проблему, динамически включая ваши данные в процесс генерации. Это достигается не путем изменения обучающих данных LLM, а путем предоставления модели доступа и использования ваших данных в реальном времени для получения более индивидуальных и контекстуально релевантных ответов.

В RAG ваши данные загружаются и подготавливаются для запросов или «индексируются». Пользовательские запросы действуют на индекс, который отфильтровывает ваши данные до наиболее релевантного контекста. Этот контекст и ваш запрос затем передаются в LLM вместе с prompt, и LLM предоставляет ответ.

Даже если вы создаете чат-бота или агента, вам захочется узнать RAG техники для получения данных в ваше приложение.

Этапы в RAG

В RAG есть пять ключевых этапов, которые, в свою очередь, станут частью любого более крупного приложения, которое вы создадите. Это:

Загрузка: это относится к получению ваших данных из места их хранения – будь то текстовые файлы, PDF, другой веб-сайт, база данных или API – в ваш пайплайн. LlamaHub предоставляет сотни коннекторов на выбор.

Индексирование: это означает создание структуры данных, которая позволяет запрашивать данные. Для LLM это почти всегда означает создание векторных embedding'ов, числовых представлений значения ваших данных, а также множества других стратегий метаданных, чтобы легко и точно находить контекстуально релевантные данные.

Хранение: После того как ваши данные проиндексированы, вы захотите сохранить ваш индекс вместе с любыми другими метаданными, чтобы избежать необходимости повторного индексирования.

Запрос: для любой заданной стратегии индексирования существует множество способов использования LLM и структур данных LlamaIndex для запросов, включая подзапросы, многошаговые запросы и гибридные стратегии.

Оценка: критически важный шаг в любом пайплайне — это проверка его…

План урока

  1. Создание RAG системы.
  2. Загрузка данных
  3. Загрузка данных и создание индекса.
  4. Оценка
  5. Генерация пар «вопрос-контекст» (Question-Context Pair Generation)
  6. Оценка извлечения (Retrieval Evaluation)
  7. Наблюдение
  8. Оценка ответа (Response Evaluation)

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды