Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 20 · Текст · ~5 мин

Браузерный агент на Llama 4

Урок 20 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook представляет пошаговое руководство по созданию браузерного агента на базе ИИ, способного автономно перемещаться по веб-сайтам и взаимодействовать с ними. Объединяя возможности Llama 4 Scout, Playwright и Together AI, этот агент может беспрепятственно выполнять задачи, понимая как визуальный, так и текстовый контент.

Для подробного объяснения кода и демонстрационного видео посетите нашу запись в блоге: Запись в блоге и демонстрационное видео

  • Визуальное понимание веб-страниц с помощью скриншотов
  • Автономная навигация и взаимодействие
  • Инструкции на естественном языке для веб-задач
  • Управление постоянной сессией браузера

Например, вы можете попросить агента:

  • Найти товар на Amazon
  • Найти самый дешёвый рейс в Токио
  • Купить билеты на следующую игру Warriors

Этот рецепт проведёт вас через:

  • Настройка среды и установка зависимостей.
  • Автоматизация взаимодействия с браузером с помощью Playwright.
  • Определение структурированного prompt для LLM, чтобы понять задачу и выполнить следующее действие.
  • Использование Llama 4 Scout для понимания контента.
  • Создание постоянного и интеллектуального браузерного агента для реальных приложений.

*Обратите внимание, что агент не идеален и может не всегда вести себя так, как ожидается.

Этот cell устанавливает необходимые пакеты Python для скрипта, такие как together, playwright и beautifulsoup4. Он также гарантирует правильную установку Playwright для обеспечения автоматизированного взаимодействия с браузером.

Установите свой Together API key для инициализации клиента. Не стесняйтесь использовать другого провайдера, если это удобнее.

Эта функция преобразует файл изображения в строку, закодированную в Base64, что требуется для запросов к LLM.

Следующий cell показывает пример использования функции encode_image для преобразования файла изображения в строку, закодированную в Base64, которая затем используется в запросе на завершение чата к модели Llama 4 Scout.

Агент будет использовать дерево доступности, чтобы понимать элементы на странице и взаимодействовать с ними. Здесь определена вспомогательная функция для упрощения дерева доступности для агента.

а) Planning Prompt: Создайте структурированный prompt для LLM, чтобы понять задачу и выполнить следующее действие.

б) Agent Execution Prompt Создаётся структурированный prompt, определяющий инструкции для обработки…

План урока

  1. 1. Установка необходимых библиотек
  2. 2. Импорт модулей и настройка среды
  3. Вспомогательные функции для парсинга дерева доступности
  4. 3. Определение Prompt'ов
  5. Примеры Few-Shot
  6. 4. Определение задачи и генерация плана действий для выполнения
  7. Сгенерировать план действий для выполнения
  8. 5. Создание среды браузера и запуск агента

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды