О чём урок
Lyria RealTime предоставляет доступ к современной модели генерации потоковой музыки в реальном времени. Она позволяет разработчикам создавать приложения, в которых пользователи могут интерактивно создавать, непрерывно управлять и исполнять инструментальную музыку с помощью текстовых подсказок.
Основные характеристики Lyria RealTime: * Модель преобразования текста в аудио высочайшего качества: Lyria RealTime генерирует высококачественную инструментальную музыку (без голоса) с использованием новейших моделей, разработанных DeepMind. * Непрерывная музыка: Используя веб-сокеты, Lyria RealTime непрерывно генерирует музыку в реальном времени. * Смешивание и сочетание влияний: Подскажите модели описать музыкальную идею, жанр, инструмент, настроение или характеристику. Подсказки можно смешивать, чтобы объединить влияния и создать уникальные композиции. * Творческий контроль: Устанавливайте guidance, bpm, density музыкальных нот/звуков, brightness и scale в реальном времени. Модель будет плавно переходить в соответствии с новым вводом.
Подробнее см. в документации Lyria RealTime.
Примечание: Этот блокнот является версией для Websocket для начала работы с Lyria, версию для Python можно найти здесь.
Также обратите внимание, что из-за ограничений Colab вы не сможете в полной мере ощутить возможности Lyria RealTime в реальном времени, а получите только ограниченный аудиовыход. Используйте скрипт Python или приложения AI Studio, Prompt DJ и MIDI DJ, чтобы в полной мере ощутить Lyria RealTime
Даже если этот блокнот не будет использовать SDK, он все равно будет использовать функции Python и Colab для управления веб-сокетами и аудиовыходом.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
API Lyria RealTime — это новая возможность, представленная с моделью Lyria RealTime, поэтому работает только с этой моделью. Вам необходимо использовать клиентскую версию v1alpha.
Для понимания того, как работает Lyria RealTime, будут отображаться все журналы, но вы можете закомментировать эти строки, если их слишком много для вас.
Класс ниже реализует взаимодействие с API Lyria RealTime.
План урока
- Установка и импорт
- Ключ API
- Хост API
- Вспомогательные функции
- Ведение журнала
- Запись файла Wave
- run — Основной цикл
- setup — Начальная настройка
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.