Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 68 · Текст · ~5 мин

Музыка в реальном времени через WebSocket

Урок 68 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Lyria RealTime предоставляет доступ к современной модели генерации потоковой музыки в реальном времени. Она позволяет разработчикам создавать приложения, в которых пользователи могут интерактивно создавать, непрерывно управлять и исполнять инструментальную музыку с помощью текстовых подсказок.

Основные характеристики Lyria RealTime: * Модель преобразования текста в аудио высочайшего качества: Lyria RealTime генерирует высококачественную инструментальную музыку (без голоса) с использованием новейших моделей, разработанных DeepMind. * Непрерывная музыка: Используя веб-сокеты, Lyria RealTime непрерывно генерирует музыку в реальном времени. * Смешивание и сочетание влияний: Подскажите модели описать музыкальную идею, жанр, инструмент, настроение или характеристику. Подсказки можно смешивать, чтобы объединить влияния и создать уникальные композиции. * Творческий контроль: Устанавливайте guidance, bpm, density музыкальных нот/звуков, brightness и scale в реальном времени. Модель будет плавно переходить в соответствии с новым вводом.

Подробнее см. в документации Lyria RealTime.

Примечание: Этот блокнот является версией для Websocket для начала работы с Lyria, версию для Python можно найти здесь.

Также обратите внимание, что из-за ограничений Colab вы не сможете в полной мере ощутить возможности Lyria RealTime в реальном времени, а получите только ограниченный аудиовыход. Используйте скрипт Python или приложения AI Studio, Prompt DJ и MIDI DJ, чтобы в полной мере ощутить Lyria RealTime

Даже если этот блокнот не будет использовать SDK, он все равно будет использовать функции Python и Colab для управления веб-сокетами и аудиовыходом.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.

API Lyria RealTime — это новая возможность, представленная с моделью Lyria RealTime, поэтому работает только с этой моделью. Вам необходимо использовать клиентскую версию v1alpha.

Для понимания того, как работает Lyria RealTime, будут отображаться все журналы, но вы можете закомментировать эти строки, если их слишком много для вас.

Класс ниже реализует взаимодействие с API Lyria RealTime.

План урока

  1. Установка и импорт
  2. Ключ API
  3. Хост API
  4. Вспомогательные функции
  5. Ведение журнала
  6. Запись файла Wave
  7. run — Основной цикл
  8. setup — Начальная настройка

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды