Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 175 · Текст · ~5 мин

Как оценивать качество пересказа

Урок 175 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook мы углубимся в методы оценки задач абстрактивной суммаризации, используя простой пример. Мы рассмотрим традиционные методы оценки, такие как ROUGE и BERTScore, в дополнение к демонстрации более нового подхода с использованием LLM в качестве оценщиков.

Оценка качества суммаризаций — трудоёмкий процесс, поскольку она включает различные метрики качества, такие как связность, лаконичность, читаемость и содержание. Традиционные метрики автоматической оценки, такие как ROUGE, BERTScore и другие, являются конкретными и надёжными, но они могут плохо коррелировать с фактическим качеством суммаризаций. Они показывают относительно низкую корреляцию с человеческими оценками, особенно для задач генерации открытого типа (Liu et al., 2023). Растёт потребность опираться на человеческие оценки, обратную связь от пользователей или метрики, основанные на моделях, при этом оставаясь бдительными в отношении потенциальных предубеждений. Хотя человеческая оценка даёт бесценные сведения, она часто не масштабируема и может быть слишком дорогостоящей.

В дополнение к этим традиционным метрикам, мы демонстрируем метод (G-Eval), который использует большие языковые модели (LLM) в качестве новой, безопорной метрики для оценки абстрактивных суммаризаций. В данном случае мы используем gpt-4 для оценки кандидатских output'ов. gpt-4 эффективно освоила внутреннюю модель качества языка, которая позволяет ей различать беглый, связный текст и текст низкого качества. Использование этого внутреннего механизма оценки позволяет проводить автоматическую оценку новых кандидатских output'ов, сгенерированных LLM.

Для целей этого notebook мы будем использовать приведённый ниже пример суммаризации. Обратите внимание, что мы предоставляем две сгенерированные суммаризации для сравнения и эталонную суммаризацию, написанную человеком, которая требуется для таких метрик оценки, как ROUGE и BERTScore.

Отрывок (excerpt):

OpenAI's mission is to ensure that artificial general intelligence (AGI) benefits all of humanity. OpenAI will build safe and beneficial AGI directly, but will also consider its mission fulfilled if its work aids others to achieve this outcome. OpenAI follows several key principles for this purpose.

Суммаризации:

Уделите момент, чтобы определить, какую суммаризацию вы бы лично предпочли, и ту, которая наилучшим…

План урока

  1. Настройка
  2. Пример задачи
  3. Оценка с использованием ROUGE
  4. Оценка с использованием BERTScore
  5. Оценка с использованием GPT-4
  6. Ограничения
  7. Заключение
  8. Ссылки

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды