Саморазвивающиеся агенты: автоматическое переобучение

О чём урок

Агентные системы часто достигают плато после стадии proof-of-concept, поскольку зависят от людей в диагностике граничных случаев и исправлении ошибок. Это руководство представляет собой повторяемый цикл переобучения, который выявляет эти проблемы, учится на обратной связи и внедряет улучшения в рабочие процессы, близкие к production. Мы основываем подход на задаче документирования в регулируемой сфере здравоохранения, но эти паттерны применимы к любой области, требующей точности, возможности аудита и быстрой итерации. Диагностировать, почему автономный агент не соответствует требованиям production, и оснащать его измеримыми сигналами обратной связи. Сравнить три стратегии оптимизации prompt'ов — от быстрой ручной итерации до полностью автоматизированных циклов — и понять, когда применять каждую из них. Собрать самовосстанавливающийся рабочий процесс, который сочетает человеческий обзор, LLM-as-judge evals и итеративную доработку prompt'ов. Инженеров по ML/AI и архитекторов решений, которым необходимо выйти за рамки демонстрационных примеров. Продуктовых команд и команд по внедрению, ищущих исполняемые артефакты, которые они могут адаптировать для внутренних инструментов или production-пайплайнов. Начните с Раздела 1, чтобы понять сценарий использования в здравоохранении, базового агента и архитектуру системы. Используйте Раздел 2 для практики оптимизации prompt'ов в интерфейсе OpenAI Evals и сбора структурированной обратной связи. Запустите Раздел 3, чтобы автоматизировать цикл оптимизации с помощью graders, evals и логики переобучения. Обратитесь к приложению за многократно используемыми prompt'ами, конфигурациями и шаблонами оценки по мере адаптации рабочего процесса к вашей среде. Notebook модульный — не стесняйтесь запускать разделы независимо или последовательно, адаптируя цикл переобучения к вашим собственным агентам. В этом руководстве мы сосредоточимся на реальном сценарии использования: составлении нормативных документов для фармацевтических компаний. Эти организации должны подготавливать и представлять обширную документацию регулирующим органам (например, Управлению по санитарному надзору за качеством пищевых продуктов и медикаментов США) для получения одобрения на новые лекарства. Точность и скорость этих представлений критически важны, поскольку они напрямую влияют на то, как быстро жизненно важные методы лечения могут дойти до пациентов.

План урока

1. Обзор
2. Чему вы научитесь
3. Для кого предназначен этот notebook
4. Как работать с этим notebook
5. 1. Обзор сценария использования: Саморазвивающиеся агенты в здравоохранении
6. Определение проблемы
7. Саморазвивающийся агент
8. Обзор набора данных