Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 09 · Текст · ~5 мин

Вытаскиваем аккорды из аудиозаписи

Урок 9 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

Цели урока

  • Извлекать аккорды из музыкального видео на YouTube с помощью простого запроса.
  • Использовать структурированный вывод с типизированной схемой для предсказуемых данных аккордов.
  • Загружать собственный аудиофайл и извлекать из него аккорды.
  • Отображать извлеченную информацию об аккордах.

О чём урок

Запустить в Google Colab

Этот блокнот демонстрирует, как использовать возможности Gemini API по распознаванию аудио для извлечения последовательностей музыкальных аккордов из музыки.

Примечание: Этот пример основан на первоначальной идее jh941213 в #760.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.

Выберите модель для использования:

Начните с загрузки музыкального файла. В приведенном ниже примере используется образец, сгенерированный с помощью Lyria, модели генерации музыки Google DeepMind. Замените URL-адрес на свой собственный аудиофайл или загрузите его непосредственно с помощью файлового браузера Colab.

Прослушайте аудио:

Загрузите файл в Gemini API с помощью File API и извлеките аккорды. Используйте режим JSON для получения структурированного вывода.

Для получения более предсказуемых результатов определите схему с помощью Python dataclasses и передайте ее в response_schema. Это гарантирует, что вывод всегда будет соответствовать вашему ожидаемому формату. Дополнительные сведения см. в кратком руководстве по режиму JSON.

Теперь передайте dataclass ChordProgression в качестве response_schema. Запрос может быть намного короче, поскольку схема уже описывает ожидаемый вывод.

Выведите извлеченную информацию об аккордах в удобочитаемом формате.

  • Узнайте больше о распознавании аудио в документации Gemini API.
  • См. краткое руководство по аудио для получения дополнительных примеров использования аудио.
  • Ознакомьтесь с кратким руководством по режиму JSON для получения дополнительной информации о структурированном выводе.
  • Изучите краткое руководство по File API для получения дополнительной информации о загрузке файлов.
  • Начало работы с Lyria: генерируйте музыку с помощью модели Lyria от Google DeepMind.
  • Голосовые заметки: суммируйте голосовые заметки с помощью Gemini.

План урока

  1. Настройка
  2. Установка SDK
  3. Настройка ключа API
  4. Извлечение аккордов из аудиофайла
  5. Использование структурированного вывода со схемой
  6. Определение модели данных аккордов
  7. Извлечение аккордов со схемой
  8. Отображение результатов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды