Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 21 · Текст · ~5 мин

Несколько инструментов сразу в Live API

Урок 21 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook вы узнаете, как использовать инструменты, включая инструменты для построения диаграмм, Google Search и выполнение кода в Мультимодальном Live API Gemini 2. Обзор новых возможностей представлен в документации Gemini 2.

Этот notebook написан на Python и напрямую использует защищенный протокол Websockets, он не использует GenAI SDK.

Если вы не ищете код и просто хотите попробовать мультимедийный streaming, используйте Live API в Google AI Studio.

Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. краткое руководство по Authentication для примера.

Мультимодальный Live API — это новая возможность, представленная с моделью Gemini 2.0. Он не будет работать с моделями предыдущего поколения.

Вам также необходимо установить версию клиента на v1alpha.

Прежде чем взаимодействовать с API, определите несколько вспомогательных функций, которые понадобятся вам в этом codelab.

В этом notebook вы будете буферизировать streamed PCM аудиоответы, поэтому создайте context manager для упаковки PCM аудиоданных в аудиофайл формата wave с соответствующими аудиопараметрами. Таким образом, вы сможете воспроизводить аудио непосредственно в Colab.

Используйте пользовательский logger, чтобы вы могли легко переключать log level для просмотра текущих запросов и ответов от API.

Этот код определяет несколько функций, которые будут подключаться (quick_connect), выполнять и обрабатывать prompt'ы (run) и обрабатывать специфические ответы сервера (handle_tool_call, handle_server_content).

Этот код использует PyPI пакет websockets, в частности, асинхронный интерфейс, доступный в версии 14.0, и не будет работать со значительно более старыми пакетами.

План урока

  1. Настройка
  2. Настройте ваш API key
  3. Настройте вспомогательные функции
  4. Определите функции подключения

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды