Что меняется при переходе на promptfoo

О чём урок

OpenAI сворачивает продукт Evals и рекомендует Promptfoo для продолжения и расширения ваших рабочих процессов оценки. Promptfoo — это CLI и библиотека с открытым исходным кодом для оценки и red-teaming AI-приложений и агентов. Он предоставляет более гибкий способ запускать, поддерживать и расширять ваши evals локально или в CI. OpenAI Evals и Promptfoo используют одни и те же основные строительные блоки: тестовые данные, prompt'ы, провайдеры/модели и критерии для оценки результатов. Когда вы воссоздаете оценку в Promptfoo, сопоставьте эти части с переносимой конфигурацией, чтобы вы могли продолжить тестирование того же поведения. Основное отличие заключается в рабочем процессе. OpenAI Evals управляется на платформе OpenAI, где оценки, запуски, результаты и связанные с ними рабочие процессы с наборами данных доступны на панели управления. Promptfoo ориентирован на переносимый файл конфигурации и рабочий процесс CLI. Вы можете хранить оценки рядом с кодом вашего приложения, запускать их локально или в CI, и адаптировать их по мере развития ваших потребностей в тестировании. OpenAI Evals Promptfoo Оценки и результаты управляются на панели управления платформы OpenAI. Оценки определяются в файле конфигурации и запускаются с помощью CLI или в CI. Грейдеры (Grader) настраиваются как критерии тестирования в оценке (eval). Поведение оценивания настраивается как утверждения и метрики. Запуски привязаны к рабочему процессу оценки платформы. Запуски могут быть интегрированы в рабочие процессы разработки, тестирования и развертывания. Функции платформы, такие как просмотр наборов данных и итерация prompt'ов, остаются в OpenAI. Выбор провайдера и настройка оценки управляются в Promptfoo. Promptfoo не просто воспроизводит интерфейс OpenAI Evals в другом инструменте. Он предоставляет более переносимый, ориентированный на код рабочий процесс для поддержания, запуска и расширения оценок с течением времени. Это руководство описывает ручное воссоздание оценки в Promptfoo. Оно не требует функции экспорта OpenAI Evals. Установите Promptfoo. Существующая оценка OpenAI Evals. Ключ API для провайдера модели, используемого в вашей оценке (eval), например OPENAI_API_KEY.

План урока

1. Что изменится при переходе на Promptfoo
2. Миграция оценки в Promptfoo
3. Перед началом
4. Создание конфигурации Promptfoo
5. Запуск вручную воссозданной оценки в Promptfoo
6. Проверка мигрированной оценки
7. Случаи, требующие ручной настройки
8. Настройка рабочего процесса в Promptfoo