Автоматическая оптимизация промптов

О чём урок

❌ Prompt engineering... утомительно. Это нестандартный процесс, сильно зависящий от метода проб и ошибок и трудно поддающийся стандартизации 🤩 К счастью, мы можем автоматизировать его, используя ✨prompt optimization✨, исследованную в недавних работах, таких как Самоконтролируемая Prompt Optimization 🎯 По своей сути, Prompt Optimization (PO) заключается в процессе взятия prompt'а, нацеленного на выполнение определённой задачи, и итеративной его доработки, чтобы улучшить его для конкретной решаемой проблемы. ✅ Этот notebook даёт обзор того, как использовать PO с моделями Mistral Вы создали форму и собрали гораздо больше ответов, чем можете прочитать. Ваш опрос стал популярным — очень популярным, 😅 — и вам нужно просмотреть ответы. Чтобы сохранить доступность, мы разрешили (и продолжим это делать!) ответы в виде обычного текста. Поэтому фильтрация невозможна. Тем не менее, вам нужны стратегии, чтобы просмотреть полученные заявки для выявления наиболее перспективных профилей. Давайте определим несколько prompt'ов для обработки ответов и вывода результатов, по которым мы сможем эффективно фильтровать. Давайте определим несколько prompt'ов для обработки ответов Эти prompt'ы намеренно не оптимизированы и служат скорее примером чего-то быстрого и неидеального, с чем мы хотим работать. Для этого примера мы рассмотрим ответы, собранные в рамках заявок на нашу Программу амбассадоров Чтобы использовать SPO через MetaGPT, вам нужно клонировать репозиторий и переместить этот notebook внутрь него. Зависимости не так просто использовать, но обойти это довольно просто 😉 Просто запустите: После установки metagpt мы можем выполнить prompt optimization, создав YAML-файл, указывающий на решаемую задачу. Согласно документации metagpt, этот YAML-файл должен иметь следующую структуру: Нам потребуется сгенерировать один из таких файлов-шаблонов для каждого prompt'а, который мы хотим оптимизировать. К счастью, мы можем сделать это автоматически. Кроме того, поскольку задачи, с которыми мы работаем, довольно просты, мы можем обойтись без предоставления few-shot примеров в формате вопросов и ответов 🤩 Тем не менее, эти файлы-шаблоны предлагают очень простой способ предоставлять реальные few-shot примеры, поэтому определённо стоит изучить их.

План урока

1. Prompt'ы для задач
2. Установка зависимостей
3. Создание файлов инструкций
4. Создание файлов моделей
5. Небольшой хак: jupyter notebooks не очень хорошо работают с asyncio 🫠
6. Оценка результатов