Автоматическая оптимизация промптов

О чём урок

Создание эффективных промптов — критически важный навык при работе с моделями ИИ. Даже опытные пользователи могут непреднамеренно вносить противоречия, двусмысленности или несоответствия, что приводит к субоптимальным результатам. Представленная здесь система помогает выявлять и устранять распространённые проблемы, что приводит к созданию более надёжных и эффективных промптов.

Процесс оптимизации использует многоагентный подход, при котором специализированные ИИ-агенты сотрудничают для анализа и переписывания промптов. Система автоматически выявляет и устраняет несколько типов распространённых проблем:

• Противоречия в инструкциях промпта
• Отсутствующие или нечёткие спецификации формата
• Несоответствия между промптом и few-shot примерами

Цель: Этот cookbook демонстрирует лучшие практики использования Agents SDK совместно с Evals для создания ранней версии системы оптимизации промптов OpenAI. Вы можете оптимизировать свой prompt, используя этот код, или воспользоваться оптимизатором в нашей playground!

Спросите ChatGPT

Структура CookbookЭтот notebook имеет следующую структуру:

• Шаг 1. Обзор системы - Узнайте, как работает система оптимизации промптов
• Шаг 2. Модели данных - Поймите структуры данных, используемые системой
• Шаг 3. Определение агентов - Рассмотрите агентов, которые анализируют и улучшают промпты
• Шаг 4. Оценки - Используйте Evals для проверки выбора нашей модели агента и инструкций
• Шаг 5. Запуск рабочего процесса оптимизации - Посмотрите, как рабочий процесс передаёт промпты
• Шаг 6. Примеры - Изучите реальные примеры оптимизации промптов

Предварительные требования

• Пакет Python openai
• Пакет openai-agents
• Ключ OpenAI API, установленный как OPENAI_API_KEY в ваших переменных окружения

Система оптимизации промптов использует совместный многоагентный подход для анализа и улучшения промптов. Каждый агент специализируется либо на обнаружении, либо на переписывании определённого типа проблемы:

1. Dev-Contradiction-Checker: Сканирует prompt на предмет логических противоречий или невыполнимых инструкций, например, «используйте только положительные числа» и «включайте отрицательные примеры» в одном и том же промпте.
2. Format-Checker: Определяет случаи, когда prompt ожидает структурированный output (например, JSON, CSV или Markdown), но не может чётко указать точные требования к формату. Этот агент гарантирует, что все необходимые поля, типы данных и правила форматирования явно определены.
3. Few-Shot-Consistency-Checker: Анализирует примеры диалогов, чтобы убедиться, что ответы…

План урока

1. 1. Обзор системы
2. 2. Модели данных
3. 3. Определение агентов
4. Лучшие практики в инструкциях для агентов
5. 4. Использование оценок для создания этих агентов
6. 5. Запуск рабочего процесса оптимизации
7. Понимание рабочего процесса оптимизации
8. 6. Примеры