О чём урок
Предварительная версия: Live API находится на этапе предварительного просмотра. Этот notebook демонстрирует простое использование Gemini Live API. Обзор новых возможностей см. в документации Gemini Live API. Этот notebook реализует простой пошаговый чат, где вы отправляете сообщения в виде текста, а модель отвечает аудио. API способен на гораздо большее. Цель здесь — продемонстрировать это с помощью простого кода. Некоторые функции API не работают в Colab; чтобы попробовать их, рекомендуется ознакомиться с примерами Live API на GitHub. Если вы не ищете код и просто хотите попробовать мультимедийный streaming, используйте Live API в Google AI Studio. Раздел Дальнейшие шаги в конце этого руководства содержит ссылки на дополнительные ресурсы. Новый Google Gen AI SDK предоставляет программный доступ к Gemini 3 (и предыдущим моделям) с использованием API Google AI for Developers и Vertex AI. За несколькими исключениями, код, работающий на одной платформе, будет работать и на другой. Более подробную информацию об этом новом SDK можно найти в документации или в notebook Начало работы. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для примера. Client получит ваш API key из переменной среды. Модель Gemini 3.1 Flash Live работает с Live API, обеспечивая двунаправленное голосовое и видео взаимодействие с Gemini с низкой задержкой. Модель может обрабатывать текстовые, аудио- и видеокадры (изображения) в качестве входных данных, а также предоставлять аудиовыход (с опциональными транскрипциями). Импортируйте все необходимые модули. Самый простой способ воспроизвести аудио в Colab — записать его в файл .wav. Вот простой writer для wave-файлов: Укажите модели возвращать аудио, установив response_modalities=["AUDIO"] в LiveConnectConfig, и отправьте входной текст с помощью send_realtime_input. Когда вы получите ответ от модели, запишите данные в файл .wav.
План урока
- Настройка
- Установка SDK
- Настройка вашего API key
- Инициализация SDK client
- Выбор модели
- Импорт
- Простой текст в аудио
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.