Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 77 · Текст · ~5 мин

Как улучшить расшифровку Whisper до и после

Урок 77 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook предлагает руководство по улучшению транскрипций Whisper. Мы оптимизируем ваши аудиоданные с помощью обрезки и сегментации, повышая качество транскрипций Whisper. После транскрибирования мы доработаем output, добавив знаки препинания, скорректировав терминологию продуктов (например, 'five two nine' на '529') и устранив проблемы с Unicode. Эти стратегии помогут улучшить ясность ваших транскрипций, но помните, что индивидуальная настройка под ваш уникальный use-case может быть полезной.

Для начала импортируем несколько различных библиотек:

  • PyDub — это простая и удобная библиотека Python для задач обработки аудио, таких как нарезка, объединение и экспорт аудиофайлов.
  • Класс Audio из модуля IPython.display позволяет создавать элемент управления аудио, который может воспроизводить звук в Jupyter notebooks, предоставляя простой способ воспроизведения аудиоданных непосредственно в вашем notebook.
  • Для нашего аудиофайла мы будем использовать вымышленный отчёт о доходах, написанный ChatGPT и озвученный автором. Этот аудиофайл относительно короткий, но, надеемся, даст вам наглядное представление о том, как эти шаги предварительной и постобработки могут быть применены к любому аудиофайлу.

Иногда файлы с длительными паузами в начале могут приводить к некорректной транскрипции аудио Whisper. Мы будем использовать Pydub для обнаружения и обрезки тишины.

Здесь мы установили пороговое значение децибел в 20. Вы можете изменить это по своему усмотрению.

Иногда мы сталкивались с внедрением символов Unicode в транскрипты; удаление любых не-ASCII символов должно помочь смягчить эту проблему.

Имейте в виду, что не следует использовать эту функцию, если вы транскрибируете на греческом, кириллице, арабском, китайском и т. д.

Эта функция добавит форматирование и знаки препинания в наш транскрипт. Whisper генерирует транскрипт с пунктуацией, но без форматирования.

Наш аудиофайл — это запись вымышленного отчёта о доходах, который включает множество финансовых продуктов. Эта функция может помочь гарантировать, что если Whisper транскрибирует названия этих финансовых продуктов некорректно, они могут быть исправлены.

Эта функция создаст новый файл с добавлением 'trimmed' к исходному имени файла

Наш аудиофайл с вымышленным отчётом о доходах довольно короткий, поэтому мы…

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды