Добавляем проверки доверия в цикл агента

О чём урок

Этот notebook демонстрирует шаблон guardrails-as-code для агентов на базе Gemini, которые вызывают инструменты. Основная идея заключается в том, чтобы держать детерминированную политику, валидацию схемы, человеческое одобрение и аудит вне модели. Gemini по-прежнему может рассуждать и предлагать действия, но уровень доверия решает, разрешены ли эти действия, заблокированы или ожидают одобрения до выполнения какого-либо побочного эффекта. В примере используется Pramagent как конкретная реализация open-source middleware. Этот шаблон полезен для циклов агентов Gemini, которые отправляют сообщения, считывают данные, ограниченные tenant'ом, записывают записи или запускают другие высокоэффективные инструменты. Начнем с обычного вызова Gemini. Это подходит для генерации с низким риском, но производственным агентам часто требуется отдельная граница, когда модель может запустить инструмент или рабочий процесс. Приведенная ниже политика разрешает использование одного mock-инструмента send_email, валидирует его аргументы, ограничивает его одним tenant'ом и требует человеческого одобрения, поскольку исходящие сообщения являются побочным эффектом. Эта политика применяется кодом Python до выполнения; это не prompt-инструкция, которую модель должна запоминать. Тот же wrapper также защищает обычные вызовы модели. Пайплайн скрывает PII, блокирует очевидные попытки инъекций, эскалирует чувствительные действия, применяет средства контроля надежности и записывает hash-chained audit trace. Trace — это операционные доказательства, созданные уровнем доверия. Он показывает, какие детерминированные средства контроля сработали, сколько времени занял каждый уровень, и указатель hash-chain, который обнаруживает последующие подделки. Используйте этот шаблон, когда агент Gemini может вызывать реальные побочные эффекты или затрагивать данные, ограниченные tenant'ом. Он наиболее полезен для исходящих сообщений, обновлений учетных записей, финансовых операций, регулируемых шагов workflow и внутренних инструментов, требующих интенсивного аудита. Обычно он не нужен для простого однократного суммирования или генерации идей, где детерминированная граница побочных эффектов добавит сложности без существенного снижения риска. Документация по Gemini API Вызов функций с Gemini Pramagent на GitHub Pramagent на PyPI

План урока

1. Базовый вызов Gemini
2. Определение детерминированной политики как кода
3. Запуск Gemini через уровень доверия
4. Просмотр доказательств trace
5. Когда использовать этот шаблон
6. Ресурсы