О чём урок
GA: Gemini 3.8 Live и Gemini 3.8 Live Extended Thinking общедоступны.
Этот блокнот демонстрирует простое использование Gemini Live API. Обзор возможностей см. в документации Gemini Live API.
Этот блокнот реализует простой пошаговый чат, где вы отправляете сообщения в виде текста, а модель отвечает аудио. API способен на гораздо большее. Цель здесь — продемонстрировать это с помощью простого кода.
Некоторые функции API не работают в Colab, чтобы попробовать их, рекомендуется ознакомиться с примерами Live API на GitHub.
Если вы не ищете код и просто хотите попробовать потоковую передачу мультимедиа, используйте Live API в Google AI Studio.
Раздел Дальнейшие шаги в конце этого руководства содержит ссылки на дополнительные ресурсы.
Новый Google Gen AI SDK предоставляет программный доступ к Gemini 3 (и предыдущим моделям) с использованием как Google AI for Developers, так и Vertex AI API. За несколькими исключениями, код, который работает на одной платформе, будет работать на обеих.
Более подробная информация об этом новом SDK доступна в документации или в блокноте Начало работы.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.
Клиент получит ваш ключ API из переменной среды.
Модель Gemini 3.8 Live работает с Live API, обеспечивая двунаправленное голосовое и видео взаимодействие с Gemini с низкой задержкой. Модель может обрабатывать текстовые, аудио- и видеокадровые (изображения) входные данные, а также предоставлять аудиовыход (с необязательными транскрипциями).
Для сложных многоэтапных задач, требующих фонового рассуждения и асинхронного выполнения инструментов, см. Gemini 3.8 Live Extended Thinking.
Импортируйте все необходимые модули.
Самый простой способ воспроизвести аудио в Colab — записать его в файл .wav. Итак, вот простой записыватель файлов wave:
Укажите модели возвращать аудио, установив response_modalities=["AUDIO"] в LiveConnectConfig, и отправьте входной текст с помощью…
План урока
- Настройка
- Установка SDK
- Настройка ключа API
- Инициализация клиента SDK
- Выбор модели
- Импорт
- Простой текст в аудио
- К асинхронным задачам
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.