О чём урок
Этот блокнот содержит примеры использования инструментов с Multimodal Live API и моделями Gemini. API предоставляет Google Search, Code Execution и Function Calling.
Предполагается, что вы знакомы с Live API, как описано в начальном руководстве по Live API.
Примечание: Эта версия руководства использует веб-сокеты напрямую. Версия этого руководства для SDK немного проще, поскольку SDK обрабатывает некоторые детали за вас.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
Установите пакет websockets:
Определите менеджер контекста для преобразования потоковых данных PCM в файл wave, который можно воспроизводить напрямую с помощью аудиовиджета IPython.
И определите пользовательский логгер, чтобы вы могли переключать дополнительную информацию, такую как запросы и ответы в процессе выполнения.
Запустите тестовый запрос, чтобы убедиться, что все настроено.
Определите несколько заглушек функций для использования в примере вызова функции.
Отправьте объявления функций как часть tools (в конфигурации генерации).
Попробуйте то же самое еще раз, но на этот раз с аудиовыходом.
API также может генерировать и выполнять код во время разговора.
Инструмент google_search также доступен для использования во время живых разговоров.
Попробуйте то же самое еще раз, с аудио.
Композиционный вызов функций позволяет вам попросить модель использовать предоставленные вами функции в сгенерированном коде. В этом примере вы можете проверить это, попросив sleep перед вызовом предоставленного инструмента.
Модель может быть запрошена использовать несколько инструментов за один ход разговора. В этом примере один запрос используется для выполнения 3 задач с использованием всех 3 предоставленных инструментов.
Этот учебник демонстрирует только базовое использование Live API с использованием Python GenAI SDK.
- Если вы не ищете код и просто хотите попробовать потоковую передачу мультимедиа, используйте Live API в Google AI Studio.
- Если вы хотите узнать, как настроить потоковое прерываемое аудио и видео…
План урока
- Настройка
- Простой вызов функции
- Выполнение кода
- Поиск Google
- Композиционный вызов функций
- Многоинструментальный
- Следующие шаги
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.