О чём урок
Примечание: Этот урок находится в папке, которая содержит соответствующие файлы кода. Загрузите всю папку, если хотите следовать инструкциям и самостоятельно запустить оценку
Мы видели, как писать собственные оценки с нуля, что может быть эффективно, хотя и несколько громоздко. Зачастую практичнее использовать специализированные инструменты, разработанные для этой цели. Сегодня доступно множество инструментов и библиотек для оценки (и все время выпускаются новые!), включая: - promptfoo - Vellum - Scale Evaluation - Prompt Layer - Chain Forge - Многие другие!
Одним из открытых и простых в использовании вариантов является promptfoo. Promptfoo предлагает оптимизированное, готовое решение, которое может значительно сократить время и усилия, необходимые для комплексного тестирования prompt. Он предоставляет простую, готовую инфраструктуру для пакетного тестирования, контроля версий и анализа производительности, позволяя разработчикам больше сосредоточиться на улучшении своих prompt, а не на создании и поддержке фреймворков тестирования. Он позволяет легко запускать оценки для нескольких prompt, моделей и провайдеров, а также предоставляет инструменты для легкой визуализации и сравнения результатов оценки. Promptfoo и другие инструменты оценки — это огромное улучшение по сравнению с попытками писать собственную логику оценки с нуля!
После проведения наших evaluations, promptfoo сгенерирует dashboard, похожий на тот, что изображен на этом изображении:
Начнем!
Следующие несколько уроков этого курса будут посвящены использованию promptfoo для написания evaluations. В этом первом уроке мы изучим один простой подход к использованию promptfoo для оценки нашего prompt "сколько ног у этого животного?" из нескольких уроков назад. Это очень простой prompt и evaluation. Наше внимание здесь сосредоточено на реальном инструментарии и процессе использования promptfoo для запуска evaluations.
Напоминаем, что в том уроке мы использовали этот небольшой набор данных для evaluation:
В том уроке мы написали три разных prompt, которые получили постепенно улучшающиеся показатели точности от наших примитивных функций оценки. В этом уроке мы перенесем набор данных для оценки и prompt в promptfoo и посмотрим, насколько легко запускать и сравнивать их результаты.
Первый шаг к использованию promptfoo — это…
План урока
- Введение в promptfoo
- Наша первая оценка promptfoo
- Установка promptfoo
- Настройка провайдера(ов)
- Указание наших prompt
- Настройка наших tests
- Запуск нашей evaluation
- Просмотр evaluation
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.