Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 177 · Текст · ~5 мин

Что меняется при переходе на promptfoo

Урок 177 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

OpenAI сворачивает продукт Evals и рекомендует Promptfoo для продолжения и расширения ваших рабочих процессов оценки.

Promptfoo — это CLI и библиотека с открытым исходным кодом для оценки и red-teaming AI-приложений и агентов. Он предоставляет более гибкий способ запускать, поддерживать и расширять ваши evals локально или в CI.

OpenAI Evals и Promptfoo используют одни и те же основные строительные блоки: тестовые данные, prompt'ы, провайдеры/модели и критерии для оценки результатов. Когда вы воссоздаете оценку в Promptfoo, сопоставьте эти части с переносимой конфигурацией, чтобы вы могли продолжить тестирование того же поведения.

Основное отличие заключается в рабочем процессе. OpenAI Evals управляется на платформе OpenAI, где оценки, запуски, результаты и связанные с ними рабочие процессы с наборами данных доступны на панели управления. Promptfoo ориентирован на переносимый файл конфигурации и рабочий процесс CLI. Вы можете хранить оценки рядом с кодом вашего приложения, запускать их локально или в CI, и адаптировать их по мере развития ваших потребностей в тестировании.

Promptfoo не просто воспроизводит интерфейс OpenAI Evals в другом инструменте. Он предоставляет более переносимый, ориентированный на код рабочий процесс для поддержания, запуска и расширения оценок с течением времени.

Это руководство описывает ручное воссоздание оценки в Promptfoo. Оно не требует функции экспорта OpenAI Evals.

  • Установите Promptfoo.
  • Существующая оценка OpenAI Evals.
  • Ключ API для провайдера модели, используемого в вашей оценке (eval), например OPENAI_API_KEY.

Воссоздайте prompt'ы, провайдера, тестовые случаи и утверждения вашей оценки в файле promptfooconfig.yaml. См. Настройка оценок в Promptfoo для получения информации о формате конфигурации.

Запустите новую оценку и откройте просмотрщик результатов:

eval создает новый запуск оценки Promptfoo, в то время как view открывает его результаты локально. Этот новый запуск отделен от любых ранее завершенных запусков OpenAI Evals.

Если вы изменяете конфигурацию или сталкиваетесь с ошибкой конфигурации, проверьте ее перед повторной попыткой:

После первого запуска Promptfoo просмотрите результаты, чтобы убедиться, что оценка ведет себя ожидаемым образом…

План урока

  1. Что изменится при переходе на Promptfoo
  2. Миграция оценки в Promptfoo
  3. Перед началом
  4. Создание конфигурации Promptfoo
  5. Запуск вручную воссозданной оценки в Promptfoo
  6. Проверка мигрированной оценки
  7. Случаи, требующие ручной настройки
  8. Настройка рабочего процесса в Promptfoo

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды