Promptfoo: оцениваем классификацию

О чём урок

Примечание: Этот урок находится в папке, содержащей соответствующие файлы кода. Скачайте всю папку, если хотите следовать инструкциям и самостоятельно провести оценку В предыдущем уроке мы оценивали prompt'ы для классификации жалоб клиентов, таких как: Каждый раз, когда я открываю ваше приложение, мой телефон становится очень медленным и Я не могу понять, как изменить свой пароль на пять различных категорий: - Ошибка ПО - Неисправность оборудования - Ошибка пользователя - Сбой в работе сервиса - Запрос функции В этом уроке мы перенесем эту оценку prompt'ов в promptfoo, что упростит пакетное выполнение и сравнение наших результатов. Первый шаг — инициализировать promptfoo с помощью команды: Как мы видели в предыдущем уроке, это создает файл promptfooconfig.yaml. Мы можем удалить его текущее содержимое. Далее мы настроим нашего provider. Добавьте следующее в promptfooconfig.yaml: Мы будем использовать Claude 3 Haiku для экономии на расходах API, так как будем запускать эту оценку несколько раз на протяжении всего урока. Убедитесь, что вы установили переменную среды ANTHROPIC_API_KEY. Вы можете установить переменную среды, выполнив эту команду в своем терминале: Далее мы соберем наши prompt'ы и убедимся, что promptfoo знает о них. Мы будем следовать тому же шаблону, который мы видели в предыдущем видео: Мы сделаем каждый prompt функцией Python. Каждая функция prompt будет возвращать строку prompt'а. Все наши функции prompt'ов будут находиться в файле prompts.py. Создайте новый файл с именем prompts.py и добавьте в него следующие функции prompt'ов. Это те же два prompt'а, которые мы написали в первоначальном уроке по классификации жалоб: Далее нам нужно сообщить promptfoo, что мы хотим использовать эти два prompt'а. Обновите файл promptfooconfig.yaml: Последний шаг — привести наш набор данных для оценки к формату, который хорошо работает с promptfoo. Напомним, вот как выглядел наш исходный список Python eval_data из предыдущего урока: Как и в предыдущем уроке, мы преобразуем наш набор данных в CSV файл.

План урока

1. Promptfoo: оценка классификации
2. Инициализация promptfoo
3. Подготовка наших prompt'ов
4. Подготовка нашего тестового набора для оценки
5. Запуск оценки