О чём урок
Этот notebook представляет пошаговое руководство по созданию браузерного агента на базе ИИ, способного автономно перемещаться по веб-сайтам и взаимодействовать с ними. Объединяя возможности Llama 4 Scout, Playwright и Together AI, этот агент может беспрепятственно выполнять задачи, понимая как визуальный, так и текстовый контент.
Для подробного объяснения кода и демонстрационного видео посетите нашу запись в блоге: Запись в блоге и демонстрационное видео
- Визуальное понимание веб-страниц с помощью скриншотов
- Автономная навигация и взаимодействие
- Инструкции на естественном языке для веб-задач
- Управление постоянной сессией браузера
Например, вы можете попросить агента:
- Найти товар на Amazon
- Найти самый дешёвый рейс в Токио
- Купить билеты на следующую игру Warriors
Этот рецепт проведёт вас через:
- Настройка среды и установка зависимостей.
- Автоматизация взаимодействия с браузером с помощью Playwright.
- Определение структурированного prompt для LLM, чтобы понять задачу и выполнить следующее действие.
- Использование Llama 4 Scout для понимания контента.
- Создание постоянного и интеллектуального браузерного агента для реальных приложений.
*Обратите внимание, что агент не идеален и может не всегда вести себя так, как ожидается.
Этот cell устанавливает необходимые пакеты Python для скрипта, такие как together, playwright и beautifulsoup4. Он также гарантирует правильную установку Playwright для обеспечения автоматизированного взаимодействия с браузером.
Установите свой Together API key для инициализации клиента. Не стесняйтесь использовать другого провайдера, если это удобнее.
Эта функция преобразует файл изображения в строку, закодированную в Base64, что требуется для запросов к LLM.
Следующий cell показывает пример использования функции encode_image для преобразования файла изображения в строку, закодированную в Base64, которая затем используется в запросе на завершение чата к модели Llama 4 Scout.
Агент будет использовать дерево доступности, чтобы понимать элементы на странице и взаимодействовать с ними. Здесь определена вспомогательная функция для упрощения дерева доступности для агента.
а) Planning Prompt: Создайте структурированный prompt для LLM, чтобы понять задачу и выполнить следующее действие.
б) Agent Execution Prompt Создаётся структурированный prompt, определяющий инструкции для обработки…
План урока
- 1. Установка необходимых библиотек
- 2. Импорт модулей и настройка среды
- Вспомогательные функции для парсинга дерева доступности
- 3. Определение Prompt'ов
- Примеры Few-Shot
- 4. Определение задачи и генерация плана действий для выполнения
- Сгенерировать план действий для выполнения
- 5. Создание среды браузера и запуск агента
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.