Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 73 · Текст · ~5 мин

Get started with Genie 4 interactive worlds

Урок 73 из 73 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание: Genie 4 (models/genie-4) — модель, доступная только на платном тарифе ($1.50/1M входных токенов, $9.00/1M выходных текстовых токенов, $17.50/1M токенов видео и аудио — ~$0.10/сек или ~$6.05/мин; максимальная длительность сессии 120s; Tier 1/2/3: 2/5/10 одновременных сессий, 50/250/1,000 RPD; запуск длительностью около 30 секунд в этом ноутбуке стоит ~$3). API-ключи бесплатного тарифа не поддерживаются, а живые потоковые сессии обслуживаются из США, Западной Европы и Японии. Всегда вызывайте await conn.complete() (или await conn.cancel()) по завершении работы, чтобы генерация на стороне сервера и тарификация прекратились немедленно. Актуальные ограничения по числу одновременных сессий для каждого тарифа смотрите на страницах цен Gemini API и лимитов запросов.

Genie 4 (models/genie-4) — интерактивная модель мира реального времени, доступная через Live Interactions API (client.aio.interactions.create и client.aio.interactions.connect). Вместо рендеринга готового видеоролика Genie 4 генерирует непрерывный видеопоток 16:9 с частотой 24 fps в паре со стереозвуком 48 kHz, отвечая в реальном времени на клавиши движения (WASD), клавиши управления камерой (стрелки) и текстовые промпты, отправляемые в ходе сессии.

Поскольку статические ноутбуки на GitHub не могут разместить живой интерактивный видеоплеер <video>, в этом руководстве создаётся детерминированный асинхронный WebSocket-обвязочный скрипт на Python, который:

  1. Загружает и обрезает по центру до формата 16:9 картину маслом из общественного достояния с Wikimedia Commons.
  2. Инициализирует живой мир Genie 4 со звуковыми сигналами Foley, возникающими при физическом контакте.
  3. Выполняет расписание по времени: движение (key_w), повороты камеры (arrow_left) и изменение погоды в ходе сессии ("Make heavy snow fall across the painted village" и "A flock of white doves flies past").
  4. Сохраняет контактный лист из 4 кадров в PIL (T+2s, T+7s, T+12s, T+18s) и воспроизводит прямо в ноутбуке поток стерео WAV 48 kHz.

Если вы хотите перед написанием скрипта…

План урока

  1. Настройка
  2. Установка SDK
  3. Настройка API-ключа
  4. Выбор модели
  5. Шагните внутрь живой картины маслом через WebSocket
  6. Подготовка эталонной картины 16:9 из общественного достояния
  7. Определение физического Foley-промпта и расписания битов
  8. Потоковая передача кадров и звука через Live Interactions API

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 79 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды