О чём урок
Gemini Live API обеспечивает двусторонние аудио- и видеоразговоры в реальном времени с моделями Gemini.
Стандартные голосовые модели хорошо подходят для немедленного диалога. Но когда запрос требует планирования, многоэтапного анализа или внешних инструментов, прямые ответы достигают предела: модель должна либо отвечать без глубокого рассуждения, либо молча ждать завершения работы инструментов.
Gemini 3.8 Live Extended Thinking (gemini-3.8-live-extended-thinking) добавляет фоновое рассуждение к голосовым сессиям в реальном времени. Модель планирует и выполняет асинхронные инструменты в фоновом режиме, одновременно передавая естественные разговорные заполнители, чтобы поддерживать взаимодействие активным и увлекательным.
Эта архитектура вводит два ключевых шаблона жизненного цикла разговора:
- Разговорные заполнители: Модель произносит промежуточные обновления (например, "Проверяю варианты рейсов") во время выполнения инструментов в фоновом режиме.
- Отслеживание статуса взаимодействия: Поскольку модель может говорить несколько раз в течение одного запроса, сервер выдает interaction_status: "IN_PROGRESS" во время фоновой обработки и interaction_status: "IDLE", когда общая задача завершена.
В этом руководстве вы узнаете, как: 1. Настроить фоновое рассуждение с помощью thinking_config. 2. Объявить асинхронные неблокирующие инструменты (behavior: "NON_BLOCKING"). 3. Отслеживать жизненные циклы сессии с помощью interaction_status вместо того, чтобы полагаться исключительно на turn_complete. 4. Обрабатывать промежуточные аудиозаполнители и асинхронные ответы инструментов.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. краткое руководство по аутентификации.
Выберите модель Live API, которую вы хотите использовать. gemini-3.8-live-extended-thinking оптимизирована для многоэтапного рассуждения и фонового выполнения инструментов, в то время как gemini-3.8-live обеспечивает минимальную задержку для прямого голосового взаимодействия.
Live API возвращает необработанные аудиокадры PCM с частотой 24 кГц. Используйте стандартный менеджер контекста для записи потока в файл .wav для воспроизведения.
При использовании gemini-3.8-live-extended-thinking объявления инструментов должны указывать behavior="NON_BLOCKING". Синхронные блокирующие инструменты вернут ошибку.
Вы можете настроить…
План урока
- Настройка
- Установка SDK
- Настройка ключа API
- Выбор модели
- Помощник по воспроизведению аудио
- Настройка мышления и неблокирующих инструментов
- Запуск Live-сессии с фоновым рассуждением
- Понимание завершения хода и статуса взаимодействия
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.