Браузерный агент на Llama 4

О чём урок

Этот notebook представляет пошаговое руководство по созданию браузерного агента на базе ИИ, способного автономно перемещаться по веб-сайтам и взаимодействовать с ними. Объединяя возможности Llama 4 Scout, Playwright и Together AI, этот агент может беспрепятственно выполнять задачи, понимая как визуальный, так и текстовый контент. Для подробного объяснения кода и демонстрационного видео посетите нашу запись в блоге: Запись в блоге и демонстрационное видео Визуальное понимание веб-страниц с помощью скриншотов Автономная навигация и взаимодействие Инструкции на естественном языке для веб-задач Управление постоянной сессией браузера Например, вы можете попросить агента: Найти товар на Amazon Найти самый дешёвый рейс в Токио Купить билеты на следующую игру Warriors Этот рецепт проведёт вас через: Настройка среды и установка зависимостей. Автоматизация взаимодействия с браузером с помощью Playwright. Определение структурированного prompt для LLM, чтобы понять задачу и выполнить следующее действие. Использование Llama 4 Scout для понимания контента. Создание постоянного и интеллектуального браузерного агента для реальных приложений. *Обратите внимание, что агент не идеален и может не всегда вести себя так, как ожидается. Этот cell устанавливает необходимые пакеты Python для скрипта, такие как together, playwright и beautifulsoup4. Он также гарантирует правильную установку Playwright для обеспечения автоматизированного взаимодействия с браузером. Установите свой Together API key для инициализации клиента. Не стесняйтесь использовать другого провайдера, если это удобнее. Эта функция преобразует файл изображения в строку, закодированную в Base64, что требуется для запросов к LLM. Следующий cell показывает пример использования функции encode_image для преобразования файла изображения в строку, закодированную в Base64, которая затем используется в запросе на завершение чата к модели Llama 4 Scout. Агент будет использовать дерево доступности, чтобы понимать элементы на странице и взаимодействовать с ними. Здесь определена вспомогательная функция для упрощения дерева доступности для агента. а) Planning Prompt: Создайте структурированный prompt для LLM, чтобы понять задачу и выполнить следующее действие.

План урока

1. 1. Установка необходимых библиотек
2. 2. Импорт модулей и настройка среды
3. Вспомогательные функции для парсинга дерева доступности
4. 3. Определение Prompt'ов
5. Примеры Few-Shot
6. 4. Определение задачи и генерация плана действий для выполнения
7. Сгенерировать план действий для выполнения
8. 5. Создание среды браузера и запуск агента