Цели урока
- Транскрибирование предварительно записанного аудио: Загрузите аудиофайл и получите точную текстовую транскрипцию с автоматическим определением языка.
- Управление языком и орфографией: Направляйте транскрипцию, используя стандартные языковые коды (например, es-ES для испанского).
- Пользовательский словарь (смещение речи): Научите модель, как писать специализированные слова, названия брендов или названия кофейных напитков (Cortado, Macchiato).
- Временные метки на уровне слов: Извлекайте точное время начала и окончания для каждого произнесенного слова.
- Идентификация говорящего (диаризация): Автоматически обнаруживайте нескольких говорящих и форматируйте реплики разговора.
О чём урок
Этот блокнот покажет вам, как транскрибировать аудио и речь в текст с помощью моделей Gemini Transcribe.
Независимо от того, нужно ли вам транскрибировать предварительно записанные файлы подкастов, очищать разговорные слова-паразиты с помощью интеллектуального форматирования, генерировать синхронизированные субтитры с временными метками для каждого слова, помечать разных говорящих на встрече или передавать потоковое аудио с микрофона с низкой задержкой, Gemini делает это простым.
- Интеллектуальная транскрипция (удаление неплавности и форматирование): Автоматически удаляйте слова-паразиты ("ум", "э"), разрешайте самокоррекции и форматируйте произнесенные списки/числа с помощью mode={"type": "smart"}.
- Программный экспорт субтитров: Создавайте стандартные файлы субтитров .srt из аннотаций временных меток.
- Потоковая передача в реальном времени: Передавайте потоковые аудиофрагменты через WebSockets с помощью gemini-3.5-transcribe-live.
- Безопасные клиентские токены: Создавайте кратковременные, ограниченные токены для веб- и мобильных приложений.
Что такое Interactions API? Interactions API (client.interactions.create) — это унифицированный интерфейс Gemini для мультимодальных задач, транскрипции речи и агентов. Он обрабатывает входные файлы, структурированные аннотации (такие как временные метки и теги говорящих) и многошаговые рабочие процессы.
Установите Google GenAI SDK (google-genai версии 2.0 или выше) и soundfile для декодирования аудио:
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. краткое руководство Аутентификация для пошагового руководства.
Установите идентификатор модели для синхронной транскрипции аудио:
Чтобы транскрибировать предварительно записанное аудио, сначала загрузите аудиофайл с помощью File API (client.files.upload).
Затем передайте загруженный файл в client.interactions.create. Gemini Transcribe автоматически определяет произнесенный язык и возвращает транскрипцию:
Когда вы знаете, на каком языке говорят…
План урока
- Что вы узнаете
- Настройка
- Установка SDK
- Настройка ключа API
- Выбор модели транскрипции
- 1. Транскрибирование аудиофайла
- 2. Управление языком с помощью языковых кодов
- 3. Пользовательский словарь (смещение речи)
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.