Promptfoo: оцениваем классификацию

О чём урок

Примечание: Этот урок находится в папке, содержащей соответствующие файлы кода. Скачайте всю папку, если хотите следовать инструкциям и самостоятельно провести оценку

В предыдущем уроке мы оценивали prompt'ы для классификации жалоб клиентов, таких как:

Каждый раз, когда я открываю ваше приложение, мой телефон становится очень медленным

и

Я не могу понять, как изменить свой пароль

на пять различных категорий: - Ошибка ПО - Неисправность оборудования - Ошибка пользователя - Сбой в работе сервиса - Запрос функции

В этом уроке мы перенесем эту оценку prompt'ов в promptfoo, что упростит пакетное выполнение и сравнение наших результатов.

Первый шаг — инициализировать promptfoo с помощью команды:

Как мы видели в предыдущем уроке, это создает файл promptfooconfig.yaml. Мы можем удалить его текущее содержимое.

Далее мы настроим нашего provider. Добавьте следующее в promptfooconfig.yaml:

Мы будем использовать Claude 3 Haiku для экономии на расходах API, так как будем запускать эту оценку несколько раз на протяжении всего урока.

Убедитесь, что вы установили переменную среды ANTHROPIC_API_KEY. Вы можете установить переменную среды, выполнив эту команду в своем терминале:

Далее мы соберем наши prompt'ы и убедимся, что promptfoo знает о них. Мы будем следовать тому же шаблону, который мы видели в предыдущем видео:

• Мы сделаем каждый prompt функцией Python.
• Каждая функция prompt будет возвращать строку prompt'а.
• Все наши функции prompt'ов будут находиться в файле prompts.py.

Создайте новый файл с именем prompts.py и добавьте в него следующие функции prompt'ов. Это те же два prompt'а, которые мы написали в первоначальном уроке по классификации жалоб:

Далее нам нужно сообщить promptfoo, что мы хотим использовать эти два prompt'а. Обновите файл promptfooconfig.yaml:

Последний шаг — привести наш набор данных для оценки к формату, который хорошо работает с promptfoo. Напомним, вот как выглядел наш исходный список Python eval_data из предыдущего урока:

Как и в предыдущем уроке, мы преобразуем наш набор данных в CSV файл.

Например, дана эта…

План урока

1. Promptfoo: оценка классификации
2. Инициализация promptfoo
3. Подготовка наших prompt'ов
4. Подготовка нашего тестового набора для оценки
5. Запуск оценки