О чём урок
Этот блокнот содержит примеры использования инструментов с мультимодальным Live API и Gemini 3.8 Live.
API предоставляет инструменты Google Search, Code Execution и Function Calling. С Gemini 3.8 Live по умолчанию поддерживается асинхронное неблокирующее выполнение инструментов (behavior: NON_BLOCKING), что позволяет инструментам выполняться параллельно, пока модель продолжает взаимодействовать, а также обратно совместимые синхронные блокирующие инструменты (behavior: BLOCKING). Для рабочих процессов глубокого рассуждения вы также можете использовать Gemini 3.8 Live Extended Thinking.
Этот учебник предполагает, что вы знакомы с Live API, как описано в начальном учебнике.
Новый Google Gen AI SDK предоставляет программный доступ к Gemini 2.5 (и предыдущим моделям) с использованием API Google AI for Developers и Vertex AI. За несколькими исключениями, код, который работает на одной платформе, будет работать на обеих. Это означает, что вы можете создать прототип приложения с использованием Developer API, а затем перенести приложение в Vertex AI без переписывания кода.
Более подробная информация об этом новом SDK доступна в документации или в блокноте Начало работы.
Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства.
Клиент получит ваш ключ API из переменной среды. Чтобы использовать Live API, вам нужно установить версию клиента на v1alpha.
Выберите либо последнюю стабильную модель, либо предварительную версию. Обратите внимание, что предварительные аудиомодели, которые производят аудио, не поддерживаются в Colab, который отображает только текстовый вывод.
Вы собираетесь использовать аудиовыход Live API, самый простой способ услышать его в Colab — записать данные PCM в файл WAV:
Используйте логгер, чтобы было легче включать/выключать отладочные сообщения.
Большая часть настройки Live API будет аналогична начальному учебнику. Поскольку этот учебник не фокусируется на интерактивности API в реальном времени, код был упрощен: этот код использует Live API…
План урока
- Настройка
- Установка SDK
- Настройка ключа API
- Инициализация клиента SDK
- Выбор модели
- Импорт
- Утилиты
- Начало работы
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.