О чём урок
Этот notebook создает маховик улучшения для агента. Мы начинаем с реальных traces, добавляем обратную связь от человека и модели, превращаем эту обратную связь в evals и используем полученные доказательства для предложения следующих изменений harness, которые Codex сможет реализовать.
Вы сможете:
- Создать финансового аналитика на базе OpenAI Agents SDK
- Запустить его на синтетических данных компании и зафиксировать traces
- Добавить примеры обратной связи от человека и сгенерированной LLM обратной связи по результатам этих запусков
- Превратить эту обратную связь в evals для Promptfoo, которые можно будет повторно запустить позже
- Использовать HALO для ранжирования следующих изменений harness и подготовки handoff для Codex
В этом notebook harness представляет собой полный контракт вокруг модели, включающий инструкции, инструменты, маршрутизацию, требования к output и проверки валидации.
Маховик сохраняет то, что вы узнаете из каждого запуска. Traces показывают, что произошло, обратная связь объясняет, что было важно, evals делают эти ожидания многоразовыми, а Codex может действовать на основе полученного набора изменений.
В итоге вы получите:
- Финансового аналитика на базе OpenAI Agents SDK, который анализирует материалы due diligence вымышленной компании в ходе пяти трассированных запусков
- Обратную связь от человека и сгенерированную LLM по тем же traces
- Автоматически сгенерированный набор evals для Promptfoo
- Входной контроль валидации Promptfoo для текущего поведения агента
- Оптимизационный проход HALO по traces, обратной связи и результатам evals
- Handoff для разработчика в Codex, чтобы он мог реализовать рекомендованные изменения harness
Агент поддерживает проведение due diligence при приобретении вымышленной компании. Он анализирует финансовые отчеты, данные о клиентах, контракты, заметки по безопасности, материалы совета директоров и управленческие отчеты, затем отвечает на вопросы due diligence с цитатами и проверяемыми артефактами.
Цикл записывает один файл, который продвигает работу вперед: сгенерированный файл codex_handoff.md в ARTIFACT_DIR. Он содержит полную диагностику HALO, ранжированные рекомендации, доказательства, лежащие в их основе, и руководство по реализации, необходимое Codex для следующего обновления harness.
Степень автоматизации зависит от…
План урока
- Что вы создадите
- Предварительные условия
- Шаг 1. Создание синтетических данных компании
- Повествовательные markdown-файлы в синтетических данных
- Определение синтетических исходных файлов
- Материализация синтетических данных
- Шаг 2. Определение аналитика на базе OpenAI Agents SDK
- Артефакты, генерируемые агентом
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.