Урок из полного доступа, первые уроки курса бесплатно Официальный курс Microsoft AI for Beginners на русском
Урок 16 · Текст · ~5 мин

Создание агентов компьютерного взаимодействия (CUA)

Урок 16 из 19 курса «ИИ-агенты для начинающих»: официальный курс Microsoft AI for Beginners (Майкрософт) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание AI University. Примеры кода в оригинале курса рассчитаны на Azure AI Foundry, Azure OpenAI или GitHub Models. Идеи урока не привязаны к Azure: похожих агентов можно собрать на OpenAI API или другом провайдере, но названия классов, параметры и настройка подключения будут отличаться, сверяйтесь с документацией выбранного фреймворка.

Агенты компьютерного взаимодействия могут взаимодействовать с веб-сайтами так же, как человек: открывать браузер, исследовать страницу и выполнять наилучшее следующее действие, исходя из увиденного. В этом уроке вы создадите агент автоматизации браузера, который будет искать на Airbnb, извлекать структурированные данные объявлений и определять самое дешёвое жильё в Стокгольме.

В уроке сочетаются Browser-Use для навигации с помощью ИИ, Playwright и протокол Chrome DevTools (CDP) для управления браузером, Azure OpenAI для логического анализа с использованием зрения и Pydantic для структурированного извлечения.

В этом уроке будет рассмотрено:

  • Понимание, когда агенты компьютерного взаимодействия лучше подходят, чем автоматизация только через API.
  • Сочетание Browser-Use с Playwright и CDP для надёжного управления жизненным циклом браузера.
  • Использование зрения Azure OpenAI и структурированного вывода Pydantic для извлечения данных объявлений с динамических веб-страниц.
  • Определение, когда использовать агентский, актерский или гибридный рабочий процесс автоматизации браузера.

После прохождения этого урока вы будете знать, как:

  • Настроить Browser-Use с Azure OpenAI и Playwright.
  • Создать рабочий процесс автоматизации браузера, который навигирует по реальному сайту и работает с динамическими элементами пользовательского интерфейса.
  • Извлекать типизированные результаты из видимого содержимого страницы и преобразовывать их в бизнес-логику для дальнейшей обработки.
  • Выбирать между паттернами агента и актора в зависимости от предсказуемости задачи браузера.

Этот урок включает один учебный ноутбук:

  • 15-browser-user.ipynb: Запускает сессию Chrome через CDP, ищет объявления Airbnb в Стокгольме, извлекает цены с помощью зрения Browser-Use и возвращает самый дешёвый вариант в виде структурированных данных.
  • Python 3.12+
  • Развёртывание Azure OpenAI, настроенное в вашей среде.
  • Установленный локально Chrome или Chromium.
  • Установленные зависимости Playwright.
  • Базовое знакомство с асинхронным Python.

Установите пакеты, используемые в…

План урока

  1. Введение
  2. Пример кода
  3. Предварительные требования
  4. Настройка
  5. Обзор архитектуры
  6. Ключевые выводы и лучшие практики
  7. Когда использовать агента, а когда актора
  8. Лучшие практики Browser-Use

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Microsoft 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Microsoft (3 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды