Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 10 · Текст · ~5 мин

Заметки об экспериментах с TTS

Урок 10 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Для конвейера TTS были опробованы все ведущие модели с HuggingFace и Reddit.

Цель состояла в использовании моделей, которые легко настраивались и звучали менее роботизированно, с возможностью включать звуковые эффекты, такие как смех и т.д.

Минимальный код для запуска их моделей:

Действительно примечательный аспект этих моделей — это возможность задавать description (описание) через prompt, что может изменять профиль говорящего и темп вывода.

Удивительно, но мини-модель Parler звучала естественнее.

В их репозитории они делятся именами дикторов, которые мы можем использовать в prompt.

Минимальный код для запуска Bark:

Подобно моделям Parler, Suno имеет библиотеку дикторов.

v9 из их библиотеки звучала роботизированно, поэтому мы используем Parler для нашего первого диктора и лучшую модель от Bark.

Невероятная особенность модели Bark — это возможность добавлять звуковые эффекты: [Laugh], [Gasps], [Sigh], [clears throat]; написание слов заглавными буквами заставляет модель их выделять.

Добавление - создает паузу в тексте. Мы используем эти знания, когда переписываем транскрипцию, используя модель 8B, чтобы добавить эффекты в нашу транскрипцию.

Примечание: Авторы предлагают использовать .... Однако это не сработало так эффективно, как добавление дефиса во время испытаний.

Модели Bark имеют два параметра, которые мы можем настраивать: temperature и semantic_temperature

Ниже приведены заметки по результатам прогона (sweep): prompt и диктор были зафиксированы, и это был vibe test, чтобы определить, что дает наилучшие результаты. Значения temperature и semantic_temperature соответственно ниже:

Сначала фиксируем temperature и прогоняем (sweep) semantic_temperature

  • 0.7, 0.2: Довольно пресно и скучно
  • 0.7, 0.3: Улучшение по сравнению с предыдущим
  • 0.7, 0.4: Дальнейшее улучшение
  • 0.7, 0.5: Этот вариант не сработал
  • 0.7, 0.6: Так себе, ничем не выделился
  • 0.7, 0.7: Лучший на данный момент
  • 0.7, 0.8: Дальнейшее улучшение
  • 0.7, 0.9: Смешанные чувства по этому поводу

Теперь прогоняем (sweep) temperature

  • 0.1, 0.9: Очень роботизированно
  • 0.2, 0.9: Менее роботизированно…

План урока

  1. Заметки по экспериментам с TTS
  2. Parler-TTS
  3. Suno/Bark
  4. Гиперпараметры
  5. Заметки по другим протестированным моделям
  6. Еще несколько моделей, которые не были протестированы

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды