Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 183 · Текст · ~5 мин

Оценки на практике: регрессия промпта для уведомлений

Урок 183 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Оценки ориентированы на задачи и итеративны; это лучший способ проверить работу вашей интеграции LLM и улучшить её.

В следующей оценке мы сосредоточимся на задаче обнаружения, является ли изменение моего prompt'а регрессией.

Наш сценарий использования:

  1. У меня есть интеграция LLM, которая принимает список push-уведомлений и суммирует их в одно сжатое утверждение.
  2. Я хочу определить, приводит ли изменение prompt'а к регрессии поведения.

Оценки состоят из двух частей: "Eval" и "Run". "Eval" содержит конфигурацию ваших критериев тестирования и структуру данных для ваших "Run'ов". Один Eval может иметь множество Run'ов, которые оцениваются по вашим критериям тестирования.

Мы тестируем следующую интеграцию — суммирование push-уведомлений, которая принимает несколько push-уведомлений и объединяет их в одно; это вызов chat completions.

Eval содержит конфигурацию, которая используется несколькими Run'ами, и состоит из двух компонентов:

  1. Конфигурация источника данных data_source_config — схема (столбцы), которой соответствуют ваши будущие Run'ы. data_source_config использует JSON Schema для определения того, какие переменные доступны в Eval.
  2. Критерии тестирования testing_criteria — как вы будете определять, работает ли ваша интеграция для каждой строки вашего источника данных.

Для этого сценария использования мы хотим проверить, насколько хорошо работает завершение суммирования push-уведомлений, поэтому мы настроим наш eval с учётом этого.

Этот data_source_config определяет, какие переменные доступны на протяжении всего eval.

Эта схема элемента:

Означает, что переменная {{item.notifications}} будет доступна в нашем eval.

"include_sample_schema": TrueОзначает, что переменная {{sample.output_text}} будет доступна в нашем eval.

Теперь мы используем эти переменные для настройки наших критериев тестирования.

push_notification_grader — это модель-оценщик (LLM-as-a-judge), который анализирует входные данные {{item.notifications}} и сгенерированное резюме {{sample.output_text}}, а затем помечает их как "correct" или "incorrect".Затем мы указываем с помощью "passing_labels", что считается проходным ответом.

Примечание: под капотом используется структурированный вывод, чтобы метки всегда были валидными.

Теперь мы создадим наш eval и начнём добавлять в него данные!

Теперь, когда наш…

План урока

  1. Структура оценок
  2. Сценарий использования
  3. Поздравляем, вы только что предотвратили выпуск бага пользователям

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды