Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 22 · Текст · ~5 мин

Live API: синхронный перевод

Урок 22 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Предварительный просмотр: Live API находится на стадии предварительного просмотра.

Этот блокнот демонстрирует использование Gemini Live API для перевода аудио в реальном времени. Обзор новых возможностей см. в документации Gemini Live API.

Некоторые функции API (такие как двунаправленная голосовая и видео-трансляция с низкой задержкой с использованием локального микрофона и камеры) не поддерживаются в стандартной среде Colab из-за ее безголовой облачной VM. Чтобы попробовать полную локальную аппаратную трансляцию, ознакомьтесь с примерами CLI в репозитории Cookbook.

В этом блокноте вы узнаете, как потоково передавать и переводить аудио с URL-адреса в реальном времени с помощью Live Translation API, отображая живые транскрипции и воспроизводя переведенный аудиовыход.

Новый Google Gen AI SDK предоставляет программный доступ к Gemini.

Примечание: Этот блокнот также использует ffmpeg для обработки аудиопотока. ffmpeg предустановлен в средах Google Colab.

Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для получения подробной информации.

Клиент получит ваш ключ API из переменной среды.

Live Translation API использует Live-модели, способные к переводу.

Импортируйте необходимые пакеты для обработки асинхронных событий, потоков аудиоформатов и записи файлов.

Давайте определим вспомогательный менеджер контекста для записи полученных аудиофрагментов в файл .wav для воспроизведения в блокноте:

Вы можете передавать аудио в реальном времени в Live API и получать переведенное аудио обратно. Здесь вы будете передавать аудио с общедоступного URL-адреса аудиофайла 100-миллисекундными фрагментами, чтобы имитировать ввод аудио в реальном времени, и получать потоковые ответы с переводом.

Вы определяете вспомогательную функцию для потоковой передачи аудио с HTTP-URL и используете ffmpeg для его перекодирования в необработанное монофоническое аудио PCM 16 кГц.

Далее вы определяете функции для отправки аудиофрагментов из очереди в Live-сессию, а также для получения и печати исходных и переведенных транскрипций.

Теперь настройте основной модуль перевода.

Этот учебник демонстрирует…

План урока

  1. Настройка
  2. Установка SDK и зависимостей
  3. Настройка ключа API
  4. Инициализация клиента SDK
  5. Выбор модели
  6. Импорт модулей
  7. Помощник для записи WAV-файлов
  8. Потоковая передача и перевод аудио по URL

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды