Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 24 · Текст · ~5 мин

Музыка в реальном времени с Lyria RealTime

Урок 24 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Lyria RealTime предоставляет доступ к современной модели генерации потоковой музыки в реальном времени. Она позволяет разработчикам создавать приложения, в которых пользователи могут интерактивно создавать, непрерывно управлять и исполнять инструментальную музыку с помощью текстовых подсказок.

Основные характеристики Lyria RealTime: * Модель преобразования текста в аудио высочайшего качества: Lyria RealTime генерирует высококачественную инструментальную музыку (без голоса) с использованием новейших моделей, разработанных DeepMind. * Непрерывная музыка: Используя websockets, Lyria RealTime непрерывно генерирует музыку в реальном времени. * Смешивайте и сочетайте влияния: Подскажите модели описать музыкальную идею, жанр, инструмент, настроение или характеристику. Подсказки можно смешивать, чтобы объединить влияния и создать уникальные композиции. * Творческий контроль: Устанавливайте guidance, bpm, density музыкальных нот/звуков, brightness и scale в реальном времени. Модель будет плавно переходить в соответствии с новым вводом.

Подробнее см. в документации Lyria RealTime.

Также обратите внимание, что из-за ограничений Colab вы не сможете в полной мере ощутить возможности Lyria RealTime в реальном времени, а получите только ограниченный аудиовыход. Используйте скрипт Python или приложения AI Studio, Prompt DJ и MIDI DJ, чтобы в полной мере ощутить Lyria RealTime

Даже если этот блокнот не будет использовать SDK, он все равно будет использовать Python и функции Colab для управления websockets и аудиовыходом.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства.

API Lyria RealTime — это новая возможность, представленная с моделью Lyria RealTime, поэтому она работает только с моделью lyria-realtime-exp.

Поскольку это экспериментальная функция, вам также необходимо использовать версию клиента v1alpha.

Класс ниже реализует взаимодействие с API Lyria RealTime.

Это базовая реализация, которую можно улучшить, но она была максимально упрощена для удобства понимания.

Скрипт Python — это более полный пример с лучшей обработкой потоков и ошибок, и, что самое главное, с взаимодействием в реальном…

План урока

  1. Установка SDK
  2. Ключ API
  3. Выбор модели и инициализация клиента SDK
  4. Вспомогательные функции
  5. generate_music — Основная функция
  6. receive — Собирает аудио из API и воспроизводит его
  7. Простой пример Lyria RealTime
  8. Попробуйте Lyria RealTime самостоятельно

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды