Своя оценка с помощью модели

О чём урок

Примечание: Этот урок находится в папке, содержащей соответствующие файлы с кодом. Загрузите всю папку, если хотите следовать инструкциям и запустить оценку самостоятельно В этом уроке мы увидим, как можно писать пользовательские оценки на основе моделей с использованием promptfoo. Мы начнем с простой цели промптинга: мы хотим написать промпт, который сможет превращать длинные, технически сложные статьи Википедии в короткие резюме, подходящие для аудитории начальной школы. Например, имея полную статью Википедии о свёрточных нейронных сетях, мы хотим получить простое итоговое резюме, подобное этому: Свёрточные нейронные сети, или CNN, — это особый тип компьютерных программ, которые могут учиться распознавать изображения и образы. Они работают немного похоже на человеческий мозг, используя слои искусственных «нейронов» для обработки информации. CNN очень хорошо справляются с такими задачами, как идентификация объектов на изображениях или распознавание лиц. Они делают это, разбивая изображения на более мелкие части и ища важные признаки, что-то вроде сборки пазла. Что делает CNN особенными, так это то, что они могут изучать эти признаки самостоятельно, просматривая множество примеров. Это позволяет им становиться все лучше и лучше в распознавании вещей, иногда даже достигая человеческого уровня производительности. Ученые и инженеры используют CNN для всевозможных крутых приложений, таких как помощь беспилотным автомобилям в ориентировании на дороге, поиск новых лекарств или даже обучение компьютеров игре в шахматы и го. Чтобы оценить эффективность наших промптов, мы напишем пользовательское утверждение на основе модели, которое оценивает полученное резюме по трем метрикам: Краткость (1-5) - резюме максимально краткое? Точность (1-5) - резюме полностью точное на основе исходной статьи? Тон (1-5) - резюме подходит для ученика начальной школы без технической подготовки? Каждая из этих метрик даст оценку от 1 до 5. Мы усредним их вместе и будем стремиться к средней оценке не менее 4,5/5. Для этого мы определим пользовательскую функцию оценки на основе модели!

План урока

1. Пользовательские оценки на основе моделей
2. Входные данные
3. Наши промпты
4. Обновление файла конфигурации
5. Написание пользовательской функции оценки на основе модели
6. get_assert()
7. llm_eval()
8. Запуск оценки