О чём урок
Примечание: Genie 4 (models/genie-4) — модель, доступная только на платном тарифе ($1.50/1M входных токенов, $9.00/1M выходных текстовых токенов, $17.50/1M токенов видео и аудио — ~$0.10/сек или ~$6.05/мин; максимальная длительность сессии 120s; Tier 1/2/3: 2/5/10 одновременных сессий, 50/250/1,000 RPD; запуск длительностью около 30 секунд в этом ноутбуке стоит ~$3). API-ключи бесплатного тарифа не поддерживаются, а живые потоковые сессии обслуживаются из США, Западной Европы и Японии. Всегда вызывайте await conn.complete() (или await conn.cancel()) по завершении работы, чтобы генерация на стороне сервера и тарификация прекратились немедленно. Актуальные ограничения по числу одновременных сессий для каждого тарифа смотрите на страницах цен Gemini API и лимитов запросов.
Genie 4 (models/genie-4) — интерактивная модель мира реального времени, доступная через Live Interactions API (client.aio.interactions.create и client.aio.interactions.connect). Вместо рендеринга готового видеоролика Genie 4 генерирует непрерывный видеопоток 16:9 с частотой 24 fps в паре со стереозвуком 48 kHz, отвечая в реальном времени на клавиши движения (WASD), клавиши управления камерой (стрелки) и текстовые промпты, отправляемые в ходе сессии.
Поскольку статические ноутбуки на GitHub не могут разместить живой интерактивный видеоплеер <video>, в этом руководстве создаётся детерминированный асинхронный WebSocket-обвязочный скрипт на Python, который:
- Загружает и обрезает по центру до формата 16:9 картину маслом из общественного достояния с Wikimedia Commons.
- Инициализирует живой мир Genie 4 со звуковыми сигналами Foley, возникающими при физическом контакте.
- Выполняет расписание по времени: движение (key_w), повороты камеры (arrow_left) и изменение погоды в ходе сессии ("Make heavy snow fall across the painted village" и "A flock of white doves flies past").
- Сохраняет контактный лист из 4 кадров в PIL (T+2s, T+7s, T+12s, T+18s) и воспроизводит прямо в ноутбуке поток стерео WAV 48 kHz.
Если вы хотите перед написанием скрипта…
План урока
- Настройка
- Установка SDK
- Настройка API-ключа
- Выбор модели
- Шагните внутрь живой картины маслом через WebSocket
- Подготовка эталонной картины 16:9 из общественного достояния
- Определение физического Foley-промпта и расписания битов
- Потоковая передача кадров и звука через Live Interactions API
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.