Создание агентов компьютерного взаимодействия (CUA)

О чём урок

Примечание AI University. Примеры кода в оригинале курса рассчитаны на Azure AI Foundry, Azure OpenAI или GitHub Models. Идеи урока не привязаны к Azure: похожих агентов можно собрать на OpenAI API или другом провайдере, но названия классов, параметры и настройка подключения будут отличаться, сверяйтесь с документацией выбранного фреймворка. Агенты компьютерного взаимодействия могут взаимодействовать с веб-сайтами так же, как человек: открывать браузер, исследовать страницу и выполнять наилучшее следующее действие, исходя из увиденного. В этом уроке вы создадите агент автоматизации браузера, который будет искать на Airbnb, извлекать структурированные данные объявлений и определять самое дешёвое жильё в Стокгольме. В уроке сочетаются Browser-Use для навигации с помощью ИИ, Playwright и протокол Chrome DevTools (CDP) для управления браузером, Azure OpenAI для логического анализа с использованием зрения и Pydantic для структурированного извлечения. В этом уроке будет рассмотрено: Понимание, когда агенты компьютерного взаимодействия лучше подходят, чем автоматизация только через API. Сочетание Browser-Use с Playwright и CDP для надёжного управления жизненным циклом браузера. Использование зрения Azure OpenAI и структурированного вывода Pydantic для извлечения данных объявлений с динамических веб-страниц. Определение, когда использовать агентский, актерский или гибридный рабочий процесс автоматизации браузера. После прохождения этого урока вы будете знать, как: Настроить Browser-Use с Azure OpenAI и Playwright. Создать рабочий процесс автоматизации браузера, который навигирует по реальному сайту и работает с динамическими элементами пользовательского интерфейса. Извлекать типизированные результаты из видимого содержимого страницы и преобразовывать их в бизнес-логику для дальнейшей обработки. Выбирать между паттернами агента и актора в зависимости от предсказуемости задачи браузера. Этот урок включает один учебный ноутбук: 15-browser-user.ipynb: Запускает сессию Chrome через CDP, ищет объявления Airbnb в Стокгольме, извлекает цены с помощью зрения Browser-Use и возвращает самый дешёвый вариант в виде структурированных данных. Python 3.12+ Развёртывание Azure OpenAI, настроенное в вашей среде. Установленный локально Chrome или Chromium. Установленные зависимости Playwright. Базовое знакомство с асинхронным Python.

План урока

1. Введение
2. Пример кода
3. Предварительные требования
4. Настройка
5. Обзор архитектуры
6. Ключевые выводы и лучшие практики
7. Когда использовать агента, а когда актора
8. Лучшие практики Browser-Use