О чём урок
Примечание: В этом блокноте используются модели Gemini 3.8 TTS (gemini-3.8-flash-tts и gemini-3.8-flash-lite-tts), структурированные элементы управления доставкой speech_metadata и Voices API (client.voices). Ищете устаревшую версию gemini-2.5-*-preview-tts с подсказками в виде обычного текста? Проверьте архивную ветку.
Gemini API может преобразовывать текстовый ввод в одно- или многоголосное аудио, подобно NotebookLM.
С Gemini 3.8 TTS (gemini-3.8-flash-tts и gemini-3.8-flash-lite-tts) вы можете: - Разделять что говорится (text) от как это исполняется (speech_metadata) — контролируя персону, эмоции, темп, акцент и встроенные вокальные выражения (<laugh>, <sigh>, <whisper>, <short pause>). - Выбирать из 30 предустановленных голосов ИЛИ создавать свои собственные голоса с помощью Voices API (client.voices): - Voice Design (type="prompted"): Создавайте совершенно новые, многократно используемые пользовательские голосовые персоны из описания на естественном языке. - Voice Replication (type="replicated"): Клонируйте голос из 10-секундного эталонного аудиоклипа (либо с сохранением состояния store=True, либо без сохранения состояния store=False). - Организовывать многоголосные беседы: Объединяйте предустановленные голоса и пользовательские голоса в динамических многоголосных диалогах.
🎙️ Подробное погружение в пользовательские голоса: Это руководство охватывает основные возможности TTS и представляет client.voices. Полное руководство по Voice Design, Voice Replication, управлению вашей постоянной библиотекой голосов (create, list, get, delete) и многоголосным пользовательским голосовым диалогам см. в Get_Started_Voices.ipynb (Открыть в Colab)!
Прежде чем углубляться в код, вы также можете попробовать эту возможность в AI Studio и изучить документацию по генерации речи.
Обратите внимание, что модели TTS только синтезируют речь — они не обладают общими возможностями рассуждения стандартных моделей Gemini. В Gemini 3.8 TTS, text рассматривается строго как дословная транскрипция для произнесения (вместе с встроенными вокальными тегами), в то время как инструкции по доставке передаются в speech_metadata. Если вам нужны рассуждения в реальном времени с аудиовыходом, используйте вместо этого Live API.
Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API…
План урока
- Настройка
- Настройка ключа API
- Установка и инициализация SDK
- Выбор модели
- Генерация простого аудиовыхода
- Выбор голоса
- Создание пользовательских голосов с помощью Voices API (client.voices)
- Управление тем, как говорит модель
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.