О чём урок
В этом notebook вы узнаете, как использовать инструменты, включая инструменты для построения диаграмм, Google Search и выполнение кода в Мультимодальном Live API Gemini 2. Обзор новых возможностей представлен в документации Gemini 2. Этот notebook написан на Python и напрямую использует защищенный протокол Websockets, он не использует GenAI SDK. Если вы не ищете код и просто хотите попробовать мультимедийный streaming, используйте Live API в Google AI Studio. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. краткое руководство по Authentication для примера. Мультимодальный Live API — это новая возможность, представленная с моделью Gemini 2.0. Он не будет работать с моделями предыдущего поколения. Вам также необходимо установить версию клиента на v1alpha. Прежде чем взаимодействовать с API, определите несколько вспомогательных функций, которые понадобятся вам в этом codelab. В этом notebook вы будете буферизировать streamed PCM аудиоответы, поэтому создайте context manager для упаковки PCM аудиоданных в аудиофайл формата wave с соответствующими аудиопараметрами. Таким образом, вы сможете воспроизводить аудио непосредственно в Colab. Используйте пользовательский logger, чтобы вы могли легко переключать log level для просмотра текущих запросов и ответов от API. Этот код определяет несколько функций, которые будут подключаться (quick_connect), выполнять и обрабатывать prompt'ы (run) и обрабатывать специфические ответы сервера (handle_tool_call, handle_server_content). Этот код использует PyPI пакет websockets, в частности, асинхронный интерфейс, доступный в версии 14.0, и не будет работать со значительно более старыми пакетами.
План урока
- Настройка
- Настройте ваш API key
- Настройте вспомогательные функции
- Определите функции подключения
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.