О чём урок
LLMs — мощные инструменты, но они не связаны напрямую с источниками актуальных данных. Такие функции, как Google Search grounding, предоставляют свежую информацию, используя поисковый индекс Google, но для получения действительно актуальной информации вы можете подключить браузер, чтобы получать самые свежие данные и осуществлять интеллектуальное исследование. Этот notebook продемонстрирует вам три примера использования браузера в качестве инструмента с Gemini API, применяя как Live Multimodal API, так и традиционные пошаговые диалоги. Запрос актуальных данных с помощью browser tool и Live API Возврат изображений веб-страниц из function calling Подключение к локальной сети/intranet с помощью browser tool Примечание: для большинства use-cases вы можете использовать инструменты напрямую через Gemini, чтобы он искал контент с помощью Google Search, получал видео с YouTube или извлекал context из URL без необходимости что-либо настраивать. Для получения более подробной информации ознакомьтесь с notebook Grounding. В этом руководстве используется Python SDK google-genai для подключения к моделям Gemini. Чтобы запустить следующую cell, ваш API key должен храниться в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. quickstart по Authentication для примера. Вы будете использовать один и тот же экземпляр client как для Live API, так и для классических взаимодействий с REST API, поэтому определите модели для каждого. Вспомогательная функция show_parts отображает глубоко вложенный output, который API возвращает в удобном для notebook виде; обрабатывая text, code и tool calls. Вспомогательная функция can_crawl_url выполнит проверку robots.txt, чтобы убедиться, что любые автоматизированные запросы принимаются удаленным сервисом. Этот пример покажет вам, как использовать Multimodal Live API с Google Search tool, а затем для сравнения демонстрирует пользовательский web browsing tool для получения содержимого сайта в реальном времени. Потоковая природа Live API требует, чтобы код обработки потока и обработки функций был написан заранее.
План урока
- Настройка SDK
- Настройка API key
- Создание клиента SDK
- Определение вспомогательных функций
- Просмотр в реальном времени
- Использование Google Search как инструмента
- Добавление live browser
- Визуальный просмотр страниц
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.