О чём урок
Этот notebook содержит примеры использования инструментов с мультимодальным live API Gemini 2.5. API предоставляет инструменты Google Search, Code Execution и Function Calling. Более ранние модели Gemini поддерживали версии этих инструментов. Самое большое изменение в Gemini 2.5 (в Live API) заключается в том, что, по сути, все инструменты обрабатываются Code Execution. Благодаря этому изменению вы можете использовать несколько инструментов в одном вызове API, а модель может использовать несколько инструментов в одном блоке Code Execution. Это руководство предполагает, что вы знакомы с Live API, как описано в этом руководстве. Новый Google Gen AI SDK предоставляет программный доступ к Gemini 2.5 (и предыдущим моделям) с использованием как Google AI for Developers, так и Vertex AI API. За некоторыми исключениями, код, работающий на одной платформе, будет работать и на другой. Это означает, что вы можете создать прототип приложения с использованием Developer API, а затем перенести приложение в Vertex AI без переписывания кода. Более подробную информацию об этом новом SDK можно найти в документации или в notebook «Начало работы». Чтобы запустить следующую cell, ваш API-ключ должен храниться в Colab Secret под названием GEMINI_API_KEY. Если у вас ещё нет API-ключа или вы не знаете, как создать Colab Secret, см. «Аутентификация » для пошагового руководства. Клиент получит ваш API-ключ из переменной среды. Для использования live API необходимо установить версию клиента на v1alpha. Выберите либо последнюю стабильную модель, либо preview-версию. Обратите внимание, что audio-preview модели, генерирующие аудио, не поддерживаются в Colab, который отображает только текстовый вывод. Вы будете использовать аудиовывод Live API; самый простой способ услышать его в Colab — записать данные PCM в файл WAV: Используйте logger, чтобы было проще включать/выключать отладочные сообщения. Большая часть настройки Live API будет аналогична начальному руководству.
План урока
- Настройка
- Установка SDK
- Настройка вашего API-ключа
- Инициализация клиента SDK
- Выбор модели
- Импорты
- Вспомогательные функции
- Начало работы
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.