О чём урок
OpenAI сворачивает продукт Evals и рекомендует Promptfoo для продолжения и расширения ваших рабочих процессов оценки.
Promptfoo — это CLI и библиотека с открытым исходным кодом для оценки и red-teaming AI-приложений и агентов. Он предоставляет более гибкий способ запускать, поддерживать и расширять ваши evals локально или в CI.
OpenAI Evals и Promptfoo используют одни и те же основные строительные блоки: тестовые данные, prompt'ы, провайдеры/модели и критерии для оценки результатов. Когда вы воссоздаете оценку в Promptfoo, сопоставьте эти части с переносимой конфигурацией, чтобы вы могли продолжить тестирование того же поведения.
Основное отличие заключается в рабочем процессе. OpenAI Evals управляется на платформе OpenAI, где оценки, запуски, результаты и связанные с ними рабочие процессы с наборами данных доступны на панели управления. Promptfoo ориентирован на переносимый файл конфигурации и рабочий процесс CLI. Вы можете хранить оценки рядом с кодом вашего приложения, запускать их локально или в CI, и адаптировать их по мере развития ваших потребностей в тестировании.
Promptfoo не просто воспроизводит интерфейс OpenAI Evals в другом инструменте. Он предоставляет более переносимый, ориентированный на код рабочий процесс для поддержания, запуска и расширения оценок с течением времени.
Это руководство описывает ручное воссоздание оценки в Promptfoo. Оно не требует функции экспорта OpenAI Evals.
- Установите Promptfoo.
- Существующая оценка OpenAI Evals.
- Ключ API для провайдера модели, используемого в вашей оценке (eval), например OPENAI_API_KEY.
Воссоздайте prompt'ы, провайдера, тестовые случаи и утверждения вашей оценки в файле promptfooconfig.yaml. См. Настройка оценок в Promptfoo для получения информации о формате конфигурации.
Запустите новую оценку и откройте просмотрщик результатов:
eval создает новый запуск оценки Promptfoo, в то время как view открывает его результаты локально. Этот новый запуск отделен от любых ранее завершенных запусков OpenAI Evals.
Если вы изменяете конфигурацию или сталкиваетесь с ошибкой конфигурации, проверьте ее перед повторной попыткой:
После первого запуска Promptfoo просмотрите результаты, чтобы убедиться, что оценка ведет себя ожидаемым образом…
План урока
- Что изменится при переходе на Promptfoo
- Миграция оценки в Promptfoo
- Перед началом
- Создание конфигурации Promptfoo
- Запуск вручную воссозданной оценки в Promptfoo
- Проверка мигрированной оценки
- Случаи, требующие ручной настройки
- Настройка рабочего процесса в Promptfoo
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.