Copyright 2026 Google LLC.
# @title Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
Gemini API: Анализ видео — Классификация
В этом блокноте используются мультимодальные возможности модели Gemini для классификации видов животных, показанных в видео.
Изображение (внешний источник)
%pip install -U -q "google-genai>=2.9.0"
Настройте ключ API
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
from google.colab import userdata
from google import genai
API_KEY = userdata.get('GEMINI_API_KEY')
client = genai.Client(api_key=API_KEY)
Пример
В этом примере используется видео, опубликованное Брайаном Эвансом, на котором изображен американский черный медведь.
Видео распространяется под лицензией Creative Commons Attribution 3.0 Unported.
# Download video
path = "black_bear.webm"
url = "https://upload.wikimedia.org/wikipedia/commons/8/81/American_black_bears_%28Ursus_americanus%29.webm"
!wget $url -O $path
--2025-03-04 13:24:57-- https://upload.wikimedia.org/wikipedia/commons/8/81/American_black_bears_%28Ursus_americanus%29.webm
Resolving upload.wikimedia.org (upload.wikimedia.org)... 198.35.26.112, 2620:0:863:ed1a::2:b
Connecting to upload.wikimedia.org (upload.wikimedia.org)|198.35.26.112|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 45046409 (43M) [video/webm]
Saving to: ‘black_bear.webm’
black_bear.webm 100%[===================>] 42.96M 27.5MB/s in 1.6s
2025-03-04 13:24:58 (27.5 MB/s) - ‘black_bear.webm’ saved [45046409/45046409]
Загрузите файл с помощью File API, чтобы его было легче передать модели позже.
# Upload video
video_file = client.files.upload(file=path)
import time
# Wait until the uploaded video is available
while video_file.state.name == "PROCESSING":
print('.', end='')
time.sleep(5)
video_file = client.files.get(name=video_file.name)
if video_file.state.name == "FAILED":
raise ValueError(video_file.state.name)
..
Чтобы продемонстрировать содержимое видео, отобразите первый кадр:
import cv2
import matplotlib.pyplot as plt
cap = cv2.VideoCapture(path)
_, frame = cap.read()
frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# Display using matplotlib
plt.imshow(frame_rgb)
plt.axis('off')
plt.show()
# close video file
cap.release()
<Figure size 640x480 with 1 Axes>
Загруженное видео готово к анализу. Созданный запрос инструктирует модель классифицировать животных в видео. В дополнение к предоставлению их английских и латинских названий.
system_prompt = """
You are a zoologist whose job is to name animals in videos.
You should always provide an english and latin name.
"""
from google.genai import types
MODEL_ID = "gemini-3.8-flash" # @param ["gemini-4-argon", "gemini-3.8-flash", "gemini-3.7-flash", "gemini-3.6-flash", "gemini-3.5-flash-lite"] {"allow-input": true, "isTemplate": true}
response = client.models.generate_content(
model=f"models/{MODEL_ID}",
contents=[
"Please identify the animal(s) in this video",
video_file
],
config=types.GenerateContentConfig(
system_instruction=system_prompt,
),
)
print(response.text)
Okay! Here are the animals in the video.
- American Black Bear (Ursus americanus)
Hope this helps!
Как видите, модель точно назвала животное и предоставила правильное латинское название.
Вы можете удалить видео, чтобы предотвратить ненужное хранение данных.
# Delete video
client.files.delete(name=video_file.name)
DeleteFileResponse()
Резюме
Теперь вы знаете, как можно использовать модели Gemini с видео и применять их для классификации видов животных.
Этот блокнот демонстрирует лишь один из многих вариантов использования. Дополнительные примеры использования Gemini API с видео см. в блокноте Понимание видео.