О чём урок
Lyria RealTime предоставляет доступ к современной модели генерации потоковой музыки в реальном времени. Она позволяет разработчикам создавать приложения, в которых пользователи могут интерактивно создавать, непрерывно управлять и исполнять инструментальную музыку с помощью текстовых подсказок.
Основные характеристики Lyria RealTime: * Модель преобразования текста в аудио высочайшего качества: Lyria RealTime генерирует высококачественную инструментальную музыку (без голоса) с использованием новейших моделей, разработанных DeepMind. * Непрерывная музыка: Используя websockets, Lyria RealTime непрерывно генерирует музыку в реальном времени. * Смешивайте и сочетайте влияния: Подскажите модели описать музыкальную идею, жанр, инструмент, настроение или характеристику. Подсказки можно смешивать, чтобы объединить влияния и создать уникальные композиции. * Творческий контроль: Устанавливайте guidance, bpm, density музыкальных нот/звуков, brightness и scale в реальном времени. Модель будет плавно переходить в соответствии с новым вводом.
Подробнее см. в документации Lyria RealTime.
Также обратите внимание, что из-за ограничений Colab вы не сможете в полной мере ощутить возможности Lyria RealTime в реальном времени, а получите только ограниченный аудиовыход. Используйте скрипт Python или приложения AI Studio, Prompt DJ и MIDI DJ, чтобы в полной мере ощутить Lyria RealTime
Даже если этот блокнот не будет использовать SDK, он все равно будет использовать Python и функции Colab для управления websockets и аудиовыходом.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства.
API Lyria RealTime — это новая возможность, представленная с моделью Lyria RealTime, поэтому она работает только с моделью lyria-realtime-exp.
Поскольку это экспериментальная функция, вам также необходимо использовать версию клиента v1alpha.
Класс ниже реализует взаимодействие с API Lyria RealTime.
Это базовая реализация, которую можно улучшить, но она была максимально упрощена для удобства понимания.
Скрипт Python — это более полный пример с лучшей обработкой потоков и ошибок, и, что самое главное, с взаимодействием в реальном…
План урока
- Установка SDK
- Ключ API
- Выбор модели и инициализация клиента SDK
- Вспомогательные функции
- generate_music — Основная функция
- receive — Собирает аудио из API и воспроизводит его
- Простой пример Lyria RealTime
- Попробуйте Lyria RealTime самостоятельно
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.