Комбинации архитектур-кандидатов

О чём урок

Этот сборник рецептов демонстрирует повторяющийся спринт по оптимизации для агента, использующего инструменты: измерьте базовый уровень, измените одну часть рабочего процесса и проверьте качество, прежде чем принимать сбережения. Он использует синтетические заявки на поддержку электронной коммерции и детерминированную симуляцию, которая работает без затрат на API. Тот же цикл измерения применим к другим рабочим процессам агентов.

В итоге вы получите повторяющийся шаблон для:

• Измерения качества, задержки, использования инструментов и общей стоимости на одном и том же наборе оценки.
• Сокращения ненужной работы с помощью элементов управления подсказками и инструментами, маршрутизации моделей и кэширования подсказок.
• Разделения работы, ориентированной на клиента, от последующей офлайн-работы и проверки полученных компромиссов.

Код по умолчанию работает в режиме сухого запуска. Для необязательных живых помощников требуются OPENAI_API_KEY и RUN_LIVE_API_CALLS=true.

1. Определите критерии успеха и небольшой репрезентативный набор для оценки.
2. Создайте намеренно неэффективного базового агента поддержки.
3. Измерьте базовую стоимость, токены, качество, задержку и вызовы инструментов.
4. Примените элементы управления подсказками, выводом, инструментами и контекстом.
5. Маршрутизируйте простые шаги к меньшим моделям.
6. Реструктурируйте запросы для кэширования подсказок.
7. Разделите работу в реальном времени и последующую работу.
8. Добавьте мониторинг, оценки и защитные механизмы.

Наш вымышленный помощник по электронной коммерции обрабатывает статусы заказов, поврежденные доставки, право на возврат средств, дублирующиеся платежи и доступ к учетной записи. Рутинные запросы делают меньшие модели достойными оценки; чувствительные к политике случаи проверяют, правильно ли оптимизированный рабочий процесс по-прежнему эскалирует.

Пять макетных инструментов представляют систему заказов (lookup_order), записи клиентов (lookup_customer), источник политики (lookup_policy), случаи возврата или замены (create_refund_case) и поддержку человека (escalate_to_human). Это локальные функции Python, поэтому даже примеры живых моделей не могут изменить реальную учетную запись клиента.

Базовый уровень предоставляет каждый инструмент, возвращает избыточные полезные данные и использует полную модель для каждого шага. Он также выполняет внутренний контроль качества, тегирование аналитики и аудиты маршрутизации перед ответом.

Последняя проверка: 14…

План урока

1. План
2. Вариант использования и настройка агента
3. Ссылки
4. Настройка
5. Критерии успеха и ограничения
6. Контракт симуляции
7. Ручки оптимизации
8. Пример набора для оценки