Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 11 · Текст · ~5 мин

Браузер как инструмент модели

Урок 11 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

LLM — мощные инструменты, но они не связаны напрямую с источниками актуальных данных. Такие функции, как Google Search grounding, предоставляют свежую информацию, используя поисковый индекс Google, но для получения действительно актуальной информации вы можете подключить браузер, чтобы получать самые свежие данные и осуществлять интеллектуальный поиск.

Этот блокнот проведет вас через три примера использования браузера в качестве инструмента с Gemini API, используя как Live Multimodal API, так и традиционные пошаговые беседы.

  • Запрос актуальных данных с помощью инструмента браузера с Live API
  • Возврат изображений веб-страниц из вызова функции
  • Подключение к локальной сети/интранету с помощью инструмента браузера

Примечание: для большинства случаев использования вы можете напрямую использовать инструменты Gemini, чтобы он искал контент с помощью Google Search, получал видео с YouTube или извлекал контекст из URL-адресов, не настраивая ничего. Подробнее см. в блокноте Grounding.

В этом руководстве используется Python SDK google-genai для подключения к моделям Gemini.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. пример в кратком руководстве Authentication .

Вы будете использовать один и тот же экземпляр client как для Live API, так и для классических взаимодействий с REST API, поэтому определите модели для каждого из них.

Вспомогательная функция can_crawl_url выполнит проверку robots.txt, чтобы убедиться, что удаленный сервис приветствует любые автоматизированные запросы.

В этом примере показано, как использовать Multimodal Live API с инструментом Google Search, а затем сравнительно показан пользовательский инструмент веб-браузера для получения содержимого сайта в реальном времени.

Потоковая природа Live API требует, чтобы код обработки потока и обработки функций был написан заранее. Это позволяет потоку продолжаться без тайм-аута.

В этом примере текст используется в качестве режима ввода и выводит текст обратно, но этот метод применим к любому режиму, поддерживаемому Live API, включая аудио.

План урока

  1. Настройка SDK
  2. Настройка ключа API
  3. Создание клиента SDK
  4. Определение некоторых вспомогательных функций
  5. Просмотр в реальном времени
  6. Использование Google Search в качестве инструмента
  7. Добавление живого браузера
  8. Визуальный просмотр страниц

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды