Музыка в реальном времени через WebSocket

О чём урок

Lyria RealTime предоставляет доступ к современной модели для генерации потоковой музыки в real time. Она позволяет developers создавать applications, в которых пользователи могут интерактивно создавать, непрерывно управлять и исполнять инструментальную музыку, используя текстовые prompt'ы. Основные характеристики Lyria RealTime: Высочайшее качество text-to-audio model: Lyria RealTime генерирует высококачественную инструментальную музыку (без вокала), используя новейшие models, разработанные DeepMind. Непрерывная музыка: Используя websockets, Lyria RealTime непрерывно генерирует музыку в real time. Смешивайте и сочетайте влияния: Prompt'ируйте model для описания музыкальной идеи, жанра, инструмента, настроения или характеристики. Prompt'ы можно смешивать для сочетания влияний и создания уникальных композиций. Творческий контроль: Установите `guidance`, `bpm`, `density` музыкальных нот/звуков, `brightness` и `scale` в real time. Model будет плавно переходить в соответствии с новым input. Ознакомьтесь с documentation Lyria RealTime для получения более подробной информации. Примечание: Этот notebook является Websocket версией руководства по началу работы с Lyria; python версию можно найти здесь. Также обратите внимание, что из-за Colab limitation вы не сможете в полной мере ощутить real time возможности Lyria RealTime, а получите лишь ограниченный audio output. Используйте Python script или apps AI studio, Prompt DJ и MIDI DJ, чтобы в полной мере ощутить Lyria RealTime 🪧 Даже если этот notebook не будет использовать SDK, он всё равно будет применять python и colab function для управления websockets и audio output. Для запуска следующей cell ваш API key должен быть сохранён в Colab Secret под именем GEMINI_API_KEY. Если у вас ещё нет API key или вы не знаете, как создать Colab Secret, см. Authentication для примера. Lyria RealTime API — это новая возможность, представленная с Lyria RealTime model, поэтому она работает только с этой model. Вам необходимо использовать v1alpha client version. Для лучшего понимания работы Lyria RealTime все logs будут отображаться, но вы можете закомментировать эти строки, если их слишком много для вас.

План урока

1. Установка и импорт
2. API key
3. API host
4. Вспомогательные функции
5. Логирование
6. Запись Wave-файлов
7. run - Основной loop
8. setup - Начальная настройка