Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 67 · Текст · ~5 мин

Live API: инструменты через WebSocket

Урок 67 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот блокнот содержит примеры использования инструментов с Multimodal Live API и моделями Gemini. API предоставляет Google Search, Code Execution и Function Calling.

Предполагается, что вы знакомы с Live API, как описано в начальном руководстве по Live API.

Примечание: Эта версия руководства использует веб-сокеты напрямую. Версия этого руководства для SDK немного проще, поскольку SDK обрабатывает некоторые детали за вас.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.

Установите пакет websockets:

Определите менеджер контекста для преобразования потоковых данных PCM в файл wave, который можно воспроизводить напрямую с помощью аудиовиджета IPython.

И определите пользовательский логгер, чтобы вы могли переключать дополнительную информацию, такую как запросы и ответы в процессе выполнения.

Запустите тестовый запрос, чтобы убедиться, что все настроено.

Определите несколько заглушек функций для использования в примере вызова функции.

Отправьте объявления функций как часть tools (в конфигурации генерации).

Попробуйте то же самое еще раз, но на этот раз с аудиовыходом.

API также может генерировать и выполнять код во время разговора.

Инструмент google_search также доступен для использования во время живых разговоров.

Попробуйте то же самое еще раз, с аудио.

Композиционный вызов функций позволяет вам попросить модель использовать предоставленные вами функции в сгенерированном коде. В этом примере вы можете проверить это, попросив sleep перед вызовом предоставленного инструмента.

Модель может быть запрошена использовать несколько инструментов за один ход разговора. В этом примере один запрос используется для выполнения 3 задач с использованием всех 3 предоставленных инструментов.

Этот учебник демонстрирует только базовое использование Live API с использованием Python GenAI SDK.

  • Если вы не ищете код и просто хотите попробовать потоковую передачу мультимедиа, используйте Live API в Google AI Studio.
  • Если вы хотите узнать, как настроить потоковое прерываемое аудио и видео…

План урока

  1. Настройка
  2. Простой вызов функции
  3. Выполнение кода
  4. Поиск Google
  5. Композиционный вызов функций
  6. Многоинструментальный
  7. Следующие шаги

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды