Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 25 · Текст · ~5 мин

Описываем и озвучиваем видео с GPT-4.1-mini и TTS

Урок 25 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует, как использовать визуальные возможности GPT с видео. Хотя GPT-4.1-mini не принимает видео напрямую в качестве input, мы можем использовать vision и контекстное окно в 1M token для описания статических кадров всего видео за один раз. Мы рассмотрим два примера:

  1. Использование GPT-4.1-mini для получения описания видео
  2. Генерация закадрового голоса для видео с помощью GPT-4o TTS API

Сначала мы используем OpenCV для извлечения кадров из природного видео, на котором изображены бизоны и волки:

Отобразим кадры, чтобы убедиться, что они были прочитаны корректно:

Получив кадры видео, мы составляем наш prompt и отправляем запрос к GPT (Обратите внимание, что нам не нужно отправлять каждый кадр, чтобы GPT понял происходящее):

Давайте создадим закадровый голос для этого видео в стиле Дэвида Аттенборо. Используя те же кадры видео, мы просим GPT предоставить нам короткий скрипт:

Теперь мы можем работать с GPT-4o TTS model и предоставить ей набор инструкций о том, как должен звучать голос. Вы можете поэкспериментировать с voice models и instructions на OpenAI.fm. Затем мы можем передать скрипт, сгенерированный выше с помощью GPT-4.1-mini, и сгенерировать audio закадрового голоса:

План урока

  1. 1. Использование визуальных возможностей GPT для получения описания видео
  2. 2. Генерация закадрового голоса для видео с помощью GPT-4.1 и GPT-4o TTS API

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды