Как писать промпты для Whisper

О чём урок

API транскрибирования аудио от OpenAI имеет необязательный параметр под названием prompt. Prompt предназначен для объединения нескольких аудиосегментов. Передавая транскрипцию предыдущего сегмента через prompt, модель Whisper может использовать этот контекст для лучшего понимания речи и поддержания единообразного стиля написания. Однако prompt'ы не обязательно должны быть подлинными транскрипциями предыдущих аудиосегментов. Можно передавать фиктивные prompt'ы, чтобы направить модель на использование определённых вариантов написания или стилей. Этот notebook описывает две техники использования фиктивных prompt'ов для управления результатами модели: Генерация транскрипций: GPT может преобразовывать инструкции в фиктивные транскрипции для эмуляции Whisper. Руководство по правописанию: Руководство по правописанию может указывать модели, как писать имена людей, названия продуктов, компаний и т.д. Эти техники не отличаются особой надёжностью, но могут быть полезны в некоторых ситуациях. Использование prompt'ов в Whisper отличается от использования prompt'ов в GPT. Например, если вы передадите инструкцию вроде "Format lists in Markdown format", модель не выполнит её, поскольку она следует стилю prompt'а, а не каким-либо содержащимся в нём указаниям. Кроме того, prompt ограничен 224 токенами. Если prompt длиннее 224 токенов, будут учтены только последние 224 токена; все предыдущие токены будут молча проигнорированы. Используемый токенизатор — это многоязычный токенизатор Whisper. Для получения хороших результатов создавайте примеры, которые демонстрируют желаемый стиль. Для начала давайте: Импортировать библиотеку OpenAI для Python (если у вас её нет, потребуется установить её с помощью pip install openai) Загрузить несколько примеров аудиофайлов Наш аудиофайл для этого примера будет сегментом подкаста NPR, Up First. Получим нашу базовую транскрипцию, а затем введём prompt'ы. Давайте рассмотрим, как prompt'ы влияют на стиль транскрипции. В предыдущей транскрипции без prompt'а 'President Biden' написан с заглавной буквы. Попробуем использовать prompt, чтобы написать "president biden" строчными буквами. Мы можем начать с передачи prompt'а 'president biden' в нижнем регистре и посмотреть, сможет ли Whisper соответствовать этому стилю и сгенерировать транскрипцию полностью строчными буквами.

План урока

1. Сравнение с GPT prompting
2. Настройка
3. В качестве базового варианта мы транскрибируем сегмент подкаста NPR
4. Транскрипции следуют стилю prompt'а
5. Передавайте имена в prompt'е, чтобы предотвратить ошибки в написании
6. Фиктивные prompt'ы могут быть сгенерированы GPT