О чём урок
Этот ноутбук демонстрирует простое использование Gemini Live API.
Этот ноутбук подключается напрямую к веб-сокетам API, чтобы продемонстрировать низкоуровневые детали для тех, кто разрабатывает без использования SDK.
- Если вас не интересуют низкоуровневые детали веб-сокетов, вам следует прочитать версию этого ноутбука с SDK.
Этот ноутбук реализует простой пошаговый чат, где вы отправляете сообщения в виде текста, а модель отвечает аудио. API способен на гораздо большее. Цель здесь — продемонстрировать с помощью простого кода.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
Live API работает с моделью gemini-3.8-live. Вам необходимо использовать версию API v1beta.
Раскомментируйте вызов logger.setLevel, чтобы отобразить сообщения журнала
Код в этом разделе не является существенным для понимания API, не стесняйтесь перейти к следующему разделу.
Самый простой способ воспроизвести аудио в Colab — записать его в файл .wav.
Класс ниже реализует взаимодействие с Live API.
Здесь стоит описать 5 методов:
Этот метод:
- Открывает websocket, подключающийся к Live API
- Вызывает начальный метод setup
- Затем итерирует по жестко закодированным turns, вызывая send и recv для каждого.
Метод setup отправляет сообщение setup и ожидает ответа. Вы не должны пытаться send или recv что-либо еще от модели, пока не получите ответ setup_complete от модели.
Сообщение setup (объект BidiGenerateContentSetup) — это место, где вы можете установить model, generation_config, system_instructions, tools и safety_settings.
Метод send принимает жестко закодированную текстовую строку, печатает ее и отправляет модели в виде сообщения realtimeInput (BidiGenerateContentRealtimeInput).
Метод recv собирает аудио-фрагменты в цикле и записывает их в файл .wav. Он выходит из цикла, как только модель отправляет сигнал turnComplete, а затем воспроизводит аудио.
Он также обнаруживает сообщения toolCall и делегирует их handle_tool_call, прежде чем продолжить — без этого модель зависает в…
План урока
- Настройка
- Установка и импорт
- Константы
- Логирование
- Запись файла Wave
- Основной аудио-цикл
- run — Основной цикл
- setup — Начальная настройка
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.