О чём урок
Этот notebook содержит примеры использования инструментов с Multimodal Live API и моделями Gemini. API предоставляет Google Search, Code Execution и Function Calling. Это руководство предполагает, что вы знакомы с Live API, как описано в начальном руководстве по Live API. Примечание: Эта версия руководства использует websockets напрямую. Версия этого руководства с SDK немного проще, поскольку SDK берет на себя некоторые детали. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для примера. Установите пакет websockets: импортируйте необходимые модули Определите контекстный менеджер для преобразования потоковых PCM данных в wave файл, который можно воспроизводить напрямую с помощью аудио виджета IPython. И определите пользовательский logger, чтобы вы могли переключать дополнительную информацию, такую как текущие запросы и ответы. Эти вспомогательные функции обрабатывают websocket соединение и передачу prompt (run и send), рукопожатие сервера (setup) и обрабатывают ответы сервера (handle_server_content, handle_tool_call). Запустите тестовый prompt, чтобы убедиться, что все настроено. Определите несколько заглушек функций для использования в примере вызова функции. Отправьте объявления функций как часть tools (в конфигурации генерации). Попробуйте то же самое еще раз, но на этот раз с использованием аудиовыхода.
План урока
- Настройка
- Простой вызов функции
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.