Цели урока
- Извлекать аккорды из музыкального видео на YouTube с помощью простого запроса.
- Использовать структурированный вывод с типизированной схемой для предсказуемых данных аккордов.
- Загружать собственный аудиофайл и извлекать из него аккорды.
- Отображать извлеченную информацию об аккордах.
О чём урок
Запустить в Google Colab
Этот блокнот демонстрирует, как использовать возможности Gemini API по распознаванию аудио для извлечения последовательностей музыкальных аккордов из музыки.
Примечание: Этот пример основан на первоначальной идее jh941213 в #760.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
Выберите модель для использования:
Начните с загрузки музыкального файла. В приведенном ниже примере используется образец, сгенерированный с помощью Lyria, модели генерации музыки Google DeepMind. Замените URL-адрес на свой собственный аудиофайл или загрузите его непосредственно с помощью файлового браузера Colab.
Прослушайте аудио:
Загрузите файл в Gemini API с помощью File API и извлеките аккорды. Используйте режим JSON для получения структурированного вывода.
Для получения более предсказуемых результатов определите схему с помощью Python dataclasses и передайте ее в response_schema. Это гарантирует, что вывод всегда будет соответствовать вашему ожидаемому формату. Дополнительные сведения см. в кратком руководстве по режиму JSON.
Теперь передайте dataclass ChordProgression в качестве response_schema. Запрос может быть намного короче, поскольку схема уже описывает ожидаемый вывод.
Выведите извлеченную информацию об аккордах в удобочитаемом формате.
- Узнайте больше о распознавании аудио в документации Gemini API.
- См. краткое руководство по аудио для получения дополнительных примеров использования аудио.
- Ознакомьтесь с кратким руководством по режиму JSON для получения дополнительной информации о структурированном выводе.
- Изучите краткое руководство по File API для получения дополнительной информации о загрузке файлов.
- Начало работы с Lyria: генерируйте музыку с помощью модели Lyria от Google DeepMind.
- Голосовые заметки: суммируйте голосовые заметки с помощью Gemini.
План урока
- Настройка
- Установка SDK
- Настройка ключа API
- Извлечение аккордов из аудиофайла
- Использование структурированного вывода со схемой
- Определение модели данных аккордов
- Извлечение аккордов со схемой
- Отображение результатов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.