Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 40 · Текст · ~5 мин

Как оценивать качество RAG

Урок 40 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом ноутбуке мы покажем вам, как оценивать вывод системы RAG. Общий поток RAG изображен на диаграмме ниже.

Мы сосредоточимся на оценке Извлечения (Retrive) и Ответа (Response) (или Генерации (Generation)), и представим набор метрик для каждой фазы. Мы подробно рассмотрим каждую метрику, чтобы дать вам полное понимание того, как мы оцениваем модели и почему мы делаем это таким образом, а также предоставим код, чтобы вы могли воспроизвести это на своих собственных данных.

Для демонстрации метрик мы будем использовать данные из набора данных Docugami's KG-RAG, который является набором данных RAG для финансовых отчетов 10Q. Мы сосредоточимся только на оценке, не выполняя фактические шаги Извлечения (Retrieval) и Генерации ответа (response Generation).

  1. Начало работы
  2. Оценка извлечения
  3. Оценка генерации
  4. Заключительные комментарии

Давайте начнем с настройки окружения и загрузки набора данных.

Для оценки Ответа (Response) мы будем использовать LLM в качестве судьи. Любой LLM может быть использован для этой цели, но поскольку оценка является очень сложной задачей, мы рекомендуем использовать мощные LLM, возможно, в виде ансамбля моделей. В предыдущей работе было показано, что модели склонны присваивать более высокие оценки своим собственным результатам. Поскольку мы генерировали ответы в этом ноутбуке с использованием command-r, мы не будем использовать его для оценки. Мы предоставим две альтернативы: gpt-4 и mistral. Мы устанавливаем gpt-4 в качестве модели по умолчанию, потому что, как упоминалось выше, оценка сложна, и gpt-4 достаточно мощна, чтобы эффективно выполнять эту задачу.

На этапе Извлечения (Retrieval) мы оцениваем набор **извлеченных документов** по отношению к набору **эталонных документов**.

Для оценки извлечения мы используем три стандартные метрики:

  • **Точность** (Precision): доля возвращенных документов, которые релевантны, согласно золотой аннотации.
  • **Полнота** (Recall): доля релевантных документов в золотых данных, найденных среди извлеченных документов.
  • **Средняя точность** (Mean Average Precision) (**MAP**): измеряет способность извлекателя возвращать релевантные документы в верхней части списка.

Мы реализуем эти три метрики в классе ниже:

Теперь давайте посмотрим, как использовать приведенный…

План урока

  1. Начало работы
  2. Оценка извлечения
  3. Оценка генерации
  4. Извлечение утверждений
  5. Оценка утверждений
  6. Достоверность
  7. Корректность
  8. Покрытие

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды