Автоматическая оптимизация промптов

О чём урок

• ❌ Prompt engineering... утомительно. Это нестандартный процесс, сильно зависящий от метода проб и ошибок и трудно поддающийся стандартизации
• 🤩 К счастью, мы можем автоматизировать его, используя ✨prompt optimization✨, исследованную в недавних работах, таких как Самоконтролируемая Prompt Optimization
• 🎯 По своей сути, Prompt Optimization (PO) заключается в процессе взятия prompt'а, нацеленного на выполнение определённой задачи, и итеративной его доработки, чтобы улучшить его для конкретной решаемой проблемы.
• ✅ Этот notebook даёт обзор того, как использовать PO с моделями Mistral

• Вы создали форму и собрали гораздо больше ответов, чем можете прочитать.
• Ваш опрос стал популярным — очень популярным, 😅 — и вам нужно просмотреть ответы. Чтобы сохранить доступность, мы разрешили (и продолжим это делать!) ответы в виде обычного текста.
• Поэтому фильтрация невозможна. Тем не менее, вам нужны стратегии, чтобы просмотреть полученные заявки для выявления наиболее перспективных профилей.
• Давайте определим несколько prompt'ов для обработки ответов и вывода результатов, по которым мы сможем эффективно фильтровать.

• Давайте определим несколько prompt'ов для обработки ответов
• Эти prompt'ы намеренно не оптимизированы и служат скорее примером чего-то быстрого и неидеального, с чем мы хотим работать.
• Для этого примера мы рассмотрим ответы, собранные в рамках заявок на нашу Программу амбассадоров

Чтобы использовать SPO через MetaGPT, вам нужно клонировать репозиторий и переместить этот notebook внутрь него. Зависимости не так просто использовать, но обойти это довольно просто 😉

Просто запустите:

После установки metagpt мы можем выполнить prompt optimization, создав YAML-файл, указывающий на решаемую задачу.

Согласно документации metagpt, этот YAML-файл должен иметь следующую структуру:

Нам потребуется сгенерировать один из таких файлов-шаблонов для каждого prompt'а, который мы хотим оптимизировать. К счастью, мы можем сделать это автоматически.

Кроме того, поскольку задачи, с которыми мы работаем, довольно просты, мы можем обойтись без предоставления few-shot примеров в формате вопросов и ответов 🤩

Тем не менее, эти файлы-шаблоны предлагают очень простой способ предоставлять реальные few-shot примеры, поэтому определённо стоит изучить их.

После того как вы создали файлы-шаблоны для…

План урока

1. Prompt'ы для задач
2. Установка зависимостей
3. Создание файлов инструкций
4. Создание файлов моделей
5. Небольшой хак: jupyter notebooks не очень хорошо работают с asyncio 🫠
6. Оценка результатов