О чём урок
Для конвейера TTS были опробованы все ведущие модели с HuggingFace и Reddit.
Цель состояла в использовании моделей, которые легко настраивались и звучали менее роботизированно, с возможностью включать звуковые эффекты, такие как смех и т.д.
Минимальный код для запуска их моделей:
Действительно примечательный аспект этих моделей — это возможность задавать description (описание) через prompt, что может изменять профиль говорящего и темп вывода.
Удивительно, но мини-модель Parler звучала естественнее.
В их репозитории они делятся именами дикторов, которые мы можем использовать в prompt.
Минимальный код для запуска Bark:
Подобно моделям Parler, Suno имеет библиотеку дикторов.
v9 из их библиотеки звучала роботизированно, поэтому мы используем Parler для нашего первого диктора и лучшую модель от Bark.
Невероятная особенность модели Bark — это возможность добавлять звуковые эффекты: [Laugh], [Gasps], [Sigh], [clears throat]; написание слов заглавными буквами заставляет модель их выделять.
Добавление - создает паузу в тексте. Мы используем эти знания, когда переписываем транскрипцию, используя модель 8B, чтобы добавить эффекты в нашу транскрипцию.
Примечание: Авторы предлагают использовать .... Однако это не сработало так эффективно, как добавление дефиса во время испытаний.
Модели Bark имеют два параметра, которые мы можем настраивать: temperature и semantic_temperature
Ниже приведены заметки по результатам прогона (sweep): prompt и диктор были зафиксированы, и это был vibe test, чтобы определить, что дает наилучшие результаты. Значения temperature и semantic_temperature соответственно ниже:
Сначала фиксируем temperature и прогоняем (sweep) semantic_temperature
- 0.7, 0.2: Довольно пресно и скучно
- 0.7, 0.3: Улучшение по сравнению с предыдущим
- 0.7, 0.4: Дальнейшее улучшение
- 0.7, 0.5: Этот вариант не сработал
- 0.7, 0.6: Так себе, ничем не выделился
- 0.7, 0.7: Лучший на данный момент
- 0.7, 0.8: Дальнейшее улучшение
- 0.7, 0.9: Смешанные чувства по этому поводу
Теперь прогоняем (sweep) temperature
- 0.1, 0.9: Очень роботизированно
- 0.2, 0.9: Менее роботизированно…
План урока
- Заметки по экспериментам с TTS
- Parler-TTS
- Suno/Bark
- Гиперпараметры
- Заметки по другим протестированным моделям
- Еще несколько моделей, которые не были протестированы
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.