Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 36 · Текст · ~5 мин

Расшифровка аудио и распознавание речи

Урок 36 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

Цели урока

  • Транскрибирование предварительно записанного аудио: Загрузите аудиофайл и получите точную текстовую транскрипцию с автоматическим определением языка.
  • Управление языком и орфографией: Направляйте транскрипцию, используя стандартные языковые коды (например, es-ES для испанского).
  • Пользовательский словарь (смещение речи): Научите модель, как писать специализированные слова, названия брендов или названия кофейных напитков (Cortado, Macchiato).
  • Временные метки на уровне слов: Извлекайте точное время начала и окончания для каждого произнесенного слова.
  • Идентификация говорящего (диаризация): Автоматически обнаруживайте нескольких говорящих и форматируйте реплики разговора.

О чём урок

Этот блокнот покажет вам, как транскрибировать аудио и речь в текст с помощью моделей Gemini Transcribe.

Независимо от того, нужно ли вам транскрибировать предварительно записанные файлы подкастов, очищать разговорные слова-паразиты с помощью интеллектуального форматирования, генерировать синхронизированные субтитры с временными метками для каждого слова, помечать разных говорящих на встрече или передавать потоковое аудио с микрофона с низкой задержкой, Gemini делает это простым.

  1. Интеллектуальная транскрипция (удаление неплавности и форматирование): Автоматически удаляйте слова-паразиты ("ум", "э"), разрешайте самокоррекции и форматируйте произнесенные списки/числа с помощью mode={"type": "smart"}.
  2. Программный экспорт субтитров: Создавайте стандартные файлы субтитров .srt из аннотаций временных меток.
  3. Потоковая передача в реальном времени: Передавайте потоковые аудиофрагменты через WebSockets с помощью gemini-3.5-transcribe-live.
  4. Безопасные клиентские токены: Создавайте кратковременные, ограниченные токены для веб- и мобильных приложений.

Что такое Interactions API? Interactions API (client.interactions.create) — это унифицированный интерфейс Gemini для мультимодальных задач, транскрипции речи и агентов. Он обрабатывает входные файлы, структурированные аннотации (такие как временные метки и теги говорящих) и многошаговые рабочие процессы.

Установите Google GenAI SDK (google-genai версии 2.0 или выше) и soundfile для декодирования аудио:

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. краткое руководство Аутентификация для пошагового руководства.

Установите идентификатор модели для синхронной транскрипции аудио:

Чтобы транскрибировать предварительно записанное аудио, сначала загрузите аудиофайл с помощью File API (client.files.upload).

Затем передайте загруженный файл в client.interactions.create. Gemini Transcribe автоматически определяет произнесенный язык и возвращает транскрипцию:

Когда вы знаете, на каком языке говорят…

План урока

  1. Что вы узнаете
  2. Настройка
  3. Установка SDK
  4. Настройка ключа API
  5. Выбор модели транскрипции
  6. 1. Транскрибирование аудиофайла
  7. 2. Управление языком с помощью языковых кодов
  8. 3. Пользовательский словарь (смещение речи)

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды