Как улучшить расшифровку Whisper до и после

О чём урок

Этот notebook предлагает руководство по улучшению транскрипций Whisper. Мы оптимизируем ваши аудиоданные с помощью обрезки и сегментации, повышая качество транскрипций Whisper. После транскрибирования мы доработаем output, добавив знаки препинания, скорректировав терминологию продуктов (например, 'five two nine' на '529') и устранив проблемы с Unicode. Эти стратегии помогут улучшить ясность ваших транскрипций, но помните, что индивидуальная настройка под ваш уникальный use-case может быть полезной. Для начала импортируем несколько различных библиотек: PyDub — это простая и удобная библиотека Python для задач обработки аудио, таких как нарезка, объединение и экспорт аудиофайлов. Класс Audio из модуля IPython.display позволяет создавать элемент управления аудио, который может воспроизводить звук в Jupyter notebooks, предоставляя простой способ воспроизведения аудиоданных непосредственно в вашем notebook. Для нашего аудиофайла мы будем использовать вымышленный отчёт о доходах, написанный ChatGPT и озвученный автором. Этот аудиофайл относительно короткий, но, надеемся, даст вам наглядное представление о том, как эти шаги предварительной и постобработки могут быть применены к любому аудиофайлу. Иногда файлы с длительными паузами в начале могут приводить к некорректной транскрипции аудио Whisper. Мы будем использовать Pydub для обнаружения и обрезки тишины. Здесь мы установили пороговое значение децибел в 20. Вы можете изменить это по своему усмотрению. Иногда мы сталкивались с внедрением символов Unicode в транскрипты; удаление любых не-ASCII символов должно помочь смягчить эту проблему. Имейте в виду, что не следует использовать эту функцию, если вы транскрибируете на греческом, кириллице, арабском, китайском и т. д. Эта функция добавит форматирование и знаки препинания в наш транскрипт. Whisper генерирует транскрипт с пунктуацией, но без форматирования. Наш аудиофайл — это запись вымышленного отчёта о доходах, который включает множество финансовых продуктов. Эта функция может помочь гарантировать, что если Whisper транскрибирует названия этих финансовых продуктов некорректно, они могут быть исправлены.