О чём урок
Примечание AI University. Примеры кода в оригинале курса рассчитаны на Azure AI Foundry, Azure OpenAI или GitHub Models. Идеи урока не привязаны к Azure: похожих агентов можно собрать на OpenAI API или другом провайдере, но названия классов, параметры и настройка подключения будут отличаться, сверяйтесь с документацией выбранного фреймворка.
Агенты компьютерного взаимодействия могут взаимодействовать с веб-сайтами так же, как человек: открывать браузер, исследовать страницу и выполнять наилучшее следующее действие, исходя из увиденного. В этом уроке вы создадите агент автоматизации браузера, который будет искать на Airbnb, извлекать структурированные данные объявлений и определять самое дешёвое жильё в Стокгольме.
В уроке сочетаются Browser-Use для навигации с помощью ИИ, Playwright и протокол Chrome DevTools (CDP) для управления браузером, Azure OpenAI для логического анализа с использованием зрения и Pydantic для структурированного извлечения.
В этом уроке будет рассмотрено:
- Понимание, когда агенты компьютерного взаимодействия лучше подходят, чем автоматизация только через API.
- Сочетание Browser-Use с Playwright и CDP для надёжного управления жизненным циклом браузера.
- Использование зрения Azure OpenAI и структурированного вывода Pydantic для извлечения данных объявлений с динамических веб-страниц.
- Определение, когда использовать агентский, актерский или гибридный рабочий процесс автоматизации браузера.
После прохождения этого урока вы будете знать, как:
- Настроить Browser-Use с Azure OpenAI и Playwright.
- Создать рабочий процесс автоматизации браузера, который навигирует по реальному сайту и работает с динамическими элементами пользовательского интерфейса.
- Извлекать типизированные результаты из видимого содержимого страницы и преобразовывать их в бизнес-логику для дальнейшей обработки.
- Выбирать между паттернами агента и актора в зависимости от предсказуемости задачи браузера.
Этот урок включает один учебный ноутбук:
- 15-browser-user.ipynb: Запускает сессию Chrome через CDP, ищет объявления Airbnb в Стокгольме, извлекает цены с помощью зрения Browser-Use и возвращает самый дешёвый вариант в виде структурированных данных.
- Python 3.12+
- Развёртывание Azure OpenAI, настроенное в вашей среде.
- Установленный локально Chrome или Chromium.
- Установленные зависимости Playwright.
- Базовое знакомство с асинхронным Python.
Установите пакеты, используемые в…
План урока
- Введение
- Пример кода
- Предварительные требования
- Настройка
- Обзор архитектуры
- Ключевые выводы и лучшие практики
- Когда использовать агента, а когда актора
- Лучшие практики Browser-Use
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.