Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 226 · Текст · ~5 мин

Макро-оценки агентных систем

Урок 226 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

Цели урока

  • Генерировать или собирать множество трассированных запусков агентов;
  • Выполнять оценки нижнего уровня для каждого завершенного запуска;
  • Превращать каждую трассировку в компактный документ;
  • Обнаруживать повторяющиеся шаблоны поведения по всей совокупности; и
  • Детально исследовать один высокоэффективный шаблон, чтобы определить, где человеку следует проверить систему в следующий раз.

О чём урок

Когда агентная система дает сбой, проблема часто выходит за рамки одного неудачного ответа. Передача управления может произойти слишком поздно, агент-специалист может пропустить один и тот же сигнал во многих запусках, или процесс проверки может быть запущен для неверного класса случаев. Чтобы улучшить систему, командам необходимо видеть повторяющееся поведение по всей совокупности трассировок.

В этом руководстве описывается рабочий процесс макро-оценки для многоагентной системы. Мы используем синтетический рабочий процесс заказа электромобилей (EV), где агенты-специалисты обрабатывают решения по ценообразованию, соответствию требованиям, поставкам, маршрутизации на заводе, планированию и выпуску в условиях меняющихся рыночных и операционных условий.

The notebook использует предварительно рассчитанные синтетические трассировки и сохраненные метки оценок нижнего уровня, поэтому вы можете запустить весь рабочий процесс без ключа OpenAI API.

Цель состоит не в том, чтобы построить идеальную таксономию каждой трассировки. Цель состоит в том, чтобы показать, как команда инженеров AI может перейти от тысяч событий агентов к небольшому числу шаблонов, которые понятны как техническим специалистам, так и бизнес-заинтересованным сторонам.

Ключевая идея заключается в том, что notebook оценивает сохраненную агентную систему, а не обычную стенограмму чата. Входные данные сценария управляют оркестрованным роем специалистов, среда выполнения генерирует пакеты трассировок, сохраненные метки Promptfoo присоединяются к нормализованным трассировкам, а слой макро-оценки превращает эти данные в представления шаблонов и диагностики.

Оценки — это то, как команды AI измеряют работоспособность системы. Для простого вызова модели оценка может сравнивать один вывод с рубрикой или эталонным ответом. Для агентной системы нам также необходимо оценить, использовала ли система правильные инструменты, делегировала ли задачи нужному специалисту, приостанавливалась ли для проверки при высоком риске и оставалась ли в рамках бизнес-контекста.

Многоагентные системы усложняют это, потому что окончательный ответ — это лишь последнее событие в более длинном рабочем процессе.

Этот notebook разделяет…

План урока

  1. Карта сквозной агентной системы
  2. 1. Зачем нужны макро-оценки?
  3. Настройка и материалы данных
  4. 2. Симуляция: Автомобильные заказы в меняющемся мире
  5. Что представляет собой один пакет
  6. Как читать профиль набора данных
  7. Что означает case_type
  8. 3. Оценки агентов нижнего уровня с помощью Promptfoo

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды