Своя оценка с помощью модели

О чём урок

Примечание: Этот урок находится в папке, содержащей соответствующие файлы с кодом. Загрузите всю папку, если хотите следовать инструкциям и запустить оценку самостоятельно

В этом уроке мы увидим, как можно писать пользовательские оценки на основе моделей с использованием promptfoo. Мы начнем с простой цели промптинга: мы хотим написать промпт, который сможет превращать длинные, технически сложные статьи Википедии в короткие резюме, подходящие для аудитории начальной школы.

Например, имея полную статью Википедии о свёрточных нейронных сетях, мы хотим получить простое итоговое резюме, подобное этому:

Свёрточные нейронные сети, или CNN, — это особый тип компьютерных программ, которые могут учиться распознавать изображения и образы. Они работают немного похоже на человеческий мозг, используя слои искусственных «нейронов» для обработки информации. CNN очень хорошо справляются с такими задачами, как идентификация объектов на изображениях или распознавание лиц. Они делают это, разбивая изображения на более мелкие части и ища важные признаки, что-то вроде сборки пазла. Что делает CNN особенными, так это то, что они могут изучать эти признаки самостоятельно, просматривая множество примеров. Это позволяет им становиться все лучше и лучше в распознавании вещей, иногда даже достигая человеческого уровня производительности. Ученые и инженеры используют CNN для всевозможных крутых приложений, таких как помощь беспилотным автомобилям в ориентировании на дороге, поиск новых лекарств или даже обучение компьютеров игре в шахматы и го.

Чтобы оценить эффективность наших промптов, мы напишем пользовательское утверждение на основе модели, которое оценивает полученное резюме по трем метрикам:

• Краткость (1-5) - резюме максимально краткое?
• Точность (1-5) - резюме полностью точное на основе исходной статьи?
• Тон (1-5) - резюме подходит для ученика начальной школы без технической подготовки?

Каждая из этих метрик даст оценку от 1 до 5. Мы усредним их вместе и будем стремиться к средней оценке не менее 4,5/5. Для этого мы определим пользовательскую функцию оценки на основе модели!

Наша цель — написать промпт для резюмирования сложных статей Википедии в короткие, легко понятные…

План урока

1. Пользовательские оценки на основе моделей
2. Входные данные
3. Наши промпты
4. Обновление файла конфигурации
5. Написание пользовательской функции оценки на основе модели
6. get_assert()
7. llm_eval()
8. Запуск оценки