Генерация музыки с Lyria 3

Цели урока

• Генерировать музыку по текстовым prompt'ам.
• Создавать «визуальные саундтреки», где изображение служит источником вдохновения.
• Использовать продвинутые prompt'ы с временными метками для управления структурой песни.
• Генерировать чисто инструментальные треки.
• Создавать вокальные треки на нескольких языках.

О чём урок

Этот notebook покажет, как генерировать высококачественную музыку с помощью Lyria 3, семейства моделей для генерации музыки от Google DeepMind. Независимо от того, нужен ли вам короткий 30-секундный джингл или полноценная 3-минутная песня с вокалом и сложной структурой, Lyria 3 делает это возможным с помощью того же простого вызова generate_content, с которым вы уже знакомы. В этом notebook вы узнаете, как: Это руководство поможет вам сгенерировать ваш первый хит, используя GenaI SDK и как текущий API, так и новый interactions API. Примечание: Этот notebook использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Посмотрите архивную ветку. Установите SDK из PyPI. Рекомендуется всегда использовать последнюю версию. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства. С новым SDK теперь вам нужно лишь инициализировать клиент с вашим API key (или OAuth, если используете Vertex AI). Модель теперь устанавливается при каждом вызове. Вы можете использовать 2 «вкусных» варианта этой модели: lyria-3-clip-preview: Идеально подходит для быстрых 30-секундных клипов, лупов и экспериментов. ⏱️ lyria-3-pro-preview: Генерирует полноценные песни (до 3 минут) со структурой (вступление, куплет, припев!). 🎼 Более подробная информация в документации. Генерация песни проста с использованием вызова interactions.create. Вы ДОЛЖНЫ указать модальности Audio и Text в конфигурации, чтобы получить аудиоданные и сгенерированные текст/структуру. Output будет содержать как текстовые, так и аудиочасти: Первая часть — это всегда текст песни: inline_data последней части содержит аудиофайл в формате base64:

План урока

1. Настройка
2. Установка SDK
3. Настройка вашего API key
4. Инициализация клиента SDK
5. Выбор модели
6. Сгенерируйте вашу первую песню
7. Разбор output'а