Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 66 · Текст · ~5 мин

Live API через WebSocket

Урок 66 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот ноутбук демонстрирует простое использование Gemini Live API.

Этот ноутбук подключается напрямую к веб-сокетам API, чтобы продемонстрировать низкоуровневые детали для тех, кто разрабатывает без использования SDK.

  • Если вас не интересуют низкоуровневые детали веб-сокетов, вам следует прочитать версию этого ноутбука с SDK.

Этот ноутбук реализует простой пошаговый чат, где вы отправляете сообщения в виде текста, а модель отвечает аудио. API способен на гораздо большее. Цель здесь — продемонстрировать с помощью простого кода.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.

Live API работает с моделью gemini-3.8-live. Вам необходимо использовать версию API v1beta.

Раскомментируйте вызов logger.setLevel, чтобы отобразить сообщения журнала

Код в этом разделе не является существенным для понимания API, не стесняйтесь перейти к следующему разделу.

Самый простой способ воспроизвести аудио в Colab — записать его в файл .wav.

Класс ниже реализует взаимодействие с Live API.

Здесь стоит описать 5 методов:

Этот метод:

  • Открывает websocket, подключающийся к Live API
  • Вызывает начальный метод setup
  • Затем итерирует по жестко закодированным turns, вызывая send и recv для каждого.

Метод setup отправляет сообщение setup и ожидает ответа. Вы не должны пытаться send или recv что-либо еще от модели, пока не получите ответ setup_complete от модели.

Сообщение setup (объект BidiGenerateContentSetup) — это место, где вы можете установить model, generation_config, system_instructions, tools и safety_settings.

Метод send принимает жестко закодированную текстовую строку, печатает ее и отправляет модели в виде сообщения realtimeInput (BidiGenerateContentRealtimeInput).

Метод recv собирает аудио-фрагменты в цикле и записывает их в файл .wav. Он выходит из цикла, как только модель отправляет сигнал turnComplete, а затем воспроизводит аудио.

Он также обнаруживает сообщения toolCall и делегирует их handle_tool_call, прежде чем продолжить — без этого модель зависает в…

План урока

  1. Настройка
  2. Установка и импорт
  3. Константы
  4. Логирование
  5. Запись файла Wave
  6. Основной аудио-цикл
  7. run — Основной цикл
  8. setup — Начальная настройка

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды