Музыка в реальном времени с Lyria RealTime

О чём урок

Lyria RealTime предоставляет доступ к современной модели генерации потоковой музыки в реальном времени. Она позволяет разработчикам создавать приложения, в которых пользователи могут интерактивно создавать, непрерывно управлять и исполнять инструментальную музыку с помощью текстовых prompt'ов. Основные характеристики Lyria RealTime: Высочайшее качество модели преобразования текста в аудио: Lyria RealTime генерирует высококачественную инструментальную музыку (без вокала), используя новейшие модели, разработанные DeepMind. Непрерывная музыка: Используя websockets, Lyria RealTime непрерывно генерирует музыку в реальном времени. Смешивание и сочетание влияний: Предложите модели описать музыкальную идею, жанр, инструмент, настроение или характеристику. Prompt'ы можно смешивать, чтобы объединять влияния и создавать уникальные композиции. Творческий контроль: Устанавливайте guidance, bpm, density музыкальных нот/звуков, brightness и scale в реальном времени. Модель будет плавно переходить к новому состоянию на основе нового ввода. Подробную информацию см. в документации Lyria RealTime. 🪧 Также обратите внимание, что из-за ограничений Colab вы не сможете в полной мере ощутить возможности Lyria RealTime в реальном времени, а получите лишь ограниченный аудио output. Используйте Python-скрипт или приложения AI studio, Prompt DJ и MIDI DJ, чтобы в полной мере ощутить возможности Lyria RealTime Даже если этот notebook не будет использовать SDK, он все равно будет использовать функции python и colab для управления websockets и аудио output. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для пошагового руководства. Lyria RealTime API — это новая возможность, представленная с моделью Lyria RealTime, поэтому она работает только с моделью lyria-realtime-exp. Поскольку это экспериментальная функция, вам также необходимо использовать версию client'а v1alpha. Класс ниже реализует взаимодействие с Lyria RealTime API. Это базовая реализация, которую можно улучшить, но она была максимально упрощена для облегчения понимания.

План урока

1. Установка SDK
2. API key
3. Выбор модели и инициализация SDK client'а
4. Вспомогательные функции
5. generate_music — Основная функция
6. receive — Собирает аудио из API и воспроизводит его
7. Простой пример Lyria RealTime