Знакомство с promptfoo

О чём урок

Примечание: Этот урок находится в папке, которая содержит соответствующие файлы кода. Загрузите всю папку, если хотите следовать инструкциям и самостоятельно запустить оценку Мы видели, как писать собственные оценки с нуля, что может быть эффективно, хотя и несколько громоздко. Зачастую практичнее использовать специализированные инструменты, разработанные для этой цели. Сегодня доступно множество инструментов и библиотек для оценки (и все время выпускаются новые!), включая: - promptfoo - Vellum - Scale Evaluation - Prompt Layer - Chain Forge - Многие другие! Одним из открытых и простых в использовании вариантов является promptfoo. Promptfoo предлагает оптимизированное, готовое решение, которое может значительно сократить время и усилия, необходимые для комплексного тестирования prompt. Он предоставляет простую, готовую инфраструктуру для пакетного тестирования, контроля версий и анализа производительности, позволяя разработчикам больше сосредоточиться на улучшении своих prompt, а не на создании и поддержке фреймворков тестирования. Он позволяет легко запускать оценки для нескольких prompt, моделей и провайдеров, а также предоставляет инструменты для легкой визуализации и сравнения результатов оценки. Promptfoo и другие инструменты оценки — это огромное улучшение по сравнению с попытками писать собственную логику оценки с нуля! После проведения наших evaluations, promptfoo сгенерирует dashboard, похожий на тот, что изображен на этом изображении: Начнем! Следующие несколько уроков этого курса будут посвящены использованию promptfoo для написания evaluations. В этом первом уроке мы изучим один простой подход к использованию promptfoo для оценки нашего prompt "сколько ног у этого животного?" из нескольких уроков назад. Это очень простой prompt и evaluation. Наше внимание здесь сосредоточено на реальном инструментарии и процессе использования promptfoo для запуска evaluations. Напоминаем, что в том уроке мы использовали этот небольшой набор данных для evaluation: В том уроке мы написали три разных prompt, которые получили постепенно улучшающиеся показатели точности от наших примитивных функций оценки. В этом уроке мы перенесем набор данных для оценки и prompt в promptfoo и посмотрим, насколько легко запускать и сравнивать их результаты.

План урока

1. Введение в promptfoo
2. Наша первая оценка promptfoo
3. Установка promptfoo
4. Настройка провайдера(ов)
5. Указание наших prompt
6. Настройка наших tests
7. Запуск нашей evaluation
8. Просмотр evaluation