Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 84 · Текст · ~5 мин

Агенты для работы с компьютером в песочницах Daytona

Урок 84 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Множество полезных задач по-прежнему выполняется через пользовательские интерфейсы браузеров, не имеющих публичного API: сторонние дашборды, админ-панели, рабочие процессы с большим количеством форм. Инструмент Computer Use из Agents SDK позволяет агенту видеть рабочий стол и управлять им. В этом руководстве мы используем песочницу Daytona в качестве источника такого рабочего стола.

Инструменту Computer Use требуется лишь несколько примитивов для управления рабочим столом: создание скриншотов, клики, ввод текста, прокрутка, нажатие клавиш. Песочница Daytona представляет собой Linux-рабочий стол (включая браузер), обёрнутый в Python SDK, который предоставляет именно эти примитивы. Тонкий адаптер, реализующий интерфейс AsyncComputer из Agents SDK, подключает песочницу к инструменту.

Цикл агента выполняется в этом notebook, в то время как песочница осуществляет фактические клики и ввод текста. В качестве демонстрации в этом руководстве агент заполняет веб-форму. Сама форма обслуживается внутри песочницы по адресу localhost:8080, а вся сессия записывается в файл .mp4, встроенный ниже.

Этот же шаблон подходит для любой задачи, которую можно описать как "открыть приложение, перейти куда-либо, взаимодействовать с экраном": тестирование UI-потоков end-to-end, управление устаревшим десктопным программным обеспечением или любой рабочий процесс, который существует только как человеко-ориентированный интерфейс.

Ниже вы можете наблюдать, как агент управляет песочницей для заполнения сложной многостраничной формы. Остальная часть этого руководства описывает механизм, обеспечивающий его работу.

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды