Бесплатный урок Официальный курс Gemini API Cookbook на русском
Урок 03 · Текст · ~5 мин

Анализ видео: определяем, что в ролике

Урок 3 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Этот урок бесплатный.

Copyright 2026 Google LLC.
# @title Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

Gemini API: Анализ видео — Классификация

В этом блокноте используются мультимодальные возможности модели Gemini для классификации видов животных, показанных в видео.

Изображение (внешний источник)

%pip install -U -q "google-genai>=2.9.0"

Настройте ключ API

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.

from google.colab import userdata
from google import genai

API_KEY = userdata.get('GEMINI_API_KEY')
client = genai.Client(api_key=API_KEY)

Пример

В этом примере используется видео, опубликованное Брайаном Эвансом, на котором изображен американский черный медведь.

Видео распространяется под лицензией Creative Commons Attribution 3.0 Unported.

# Download video
path = "black_bear.webm"
url = "https://upload.wikimedia.org/wikipedia/commons/8/81/American_black_bears_%28Ursus_americanus%29.webm"
!wget $url -O $path
--2025-03-04 13:24:57--  https://upload.wikimedia.org/wikipedia/commons/8/81/American_black_bears_%28Ursus_americanus%29.webm
Resolving upload.wikimedia.org (upload.wikimedia.org)... 198.35.26.112, 2620:0:863:ed1a::2:b
Connecting to upload.wikimedia.org (upload.wikimedia.org)|198.35.26.112|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 45046409 (43M) [video/webm]
Saving to: ‘black_bear.webm’

black_bear.webm     100%[===================>]  42.96M  27.5MB/s    in 1.6s    

2025-03-04 13:24:58 (27.5 MB/s) - ‘black_bear.webm’ saved [45046409/45046409]

Загрузите файл с помощью File API, чтобы его было легче передать модели позже.

# Upload video
video_file = client.files.upload(file=path)
import time
# Wait until the uploaded video is available
while video_file.state.name == "PROCESSING":
  print('.', end='')
  time.sleep(5)
  video_file = client.files.get(name=video_file.name)

if video_file.state.name == "FAILED":
  raise ValueError(video_file.state.name)
..

Чтобы продемонстрировать содержимое видео, отобразите первый кадр:

import cv2
import matplotlib.pyplot as plt

cap = cv2.VideoCapture(path)
_, frame = cap.read()

frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

# Display using matplotlib
plt.imshow(frame_rgb)
plt.axis('off')
plt.show()

# close video file
cap.release()
<Figure size 640x480 with 1 Axes>

Загруженное видео готово к анализу. Созданный запрос инструктирует модель классифицировать животных в видео. В дополнение к предоставлению их английских и латинских названий.

system_prompt = """
You are a zoologist whose job is to name animals in videos.
You should always provide an english and latin name.
"""
from google.genai import types

MODEL_ID = "gemini-3.8-flash" # @param ["gemini-4-argon", "gemini-3.8-flash", "gemini-3.7-flash", "gemini-3.6-flash", "gemini-3.5-flash-lite"] {"allow-input": true, "isTemplate": true}

response = client.models.generate_content(
    model=f"models/{MODEL_ID}",
    contents=[
        "Please identify the animal(s) in this video",
        video_file
        ],
    config=types.GenerateContentConfig(
        system_instruction=system_prompt,
        ),
    )
print(response.text)
Okay! Here are the animals in the video.

- American Black Bear (Ursus americanus)

Hope this helps!

Как видите, модель точно назвала животное и предоставила правильное латинское название.

Вы можете удалить видео, чтобы предотвратить ненужное хранение данных.

# Delete video
client.files.delete(name=video_file.name)
DeleteFileResponse()

Резюме

Теперь вы знаете, как можно использовать модели Gemini с видео и применять их для классификации видов животных.

Этот блокнот демонстрирует лишь один из многих вариантов использования. Дополнительные примеры использования Gemini API с видео см. в блокноте Понимание видео.

Полезные гиды