Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 49 · Текст · ~5 мин

Как Gemini понимает видео

Урок 49 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Gemini с самого начала была мультимодальной моделью, способной анализировать все виды медиа, используя свое длинное контекстное окно.

Модели Gemini выводят анализ видео на совершенно новый уровень, как показано в этом видео.

Примечание: В этом блокноте используется Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.

Этот блокнот покажет вам, как легко использовать Gemini для выполнения такого же анализа видео. Каждый из них имеет разные подсказки, которые вы можете выбрать с помощью выпадающего списка, также не стесняйтесь экспериментировать со своими собственными.

Вы также можете посмотреть живую демонстрацию и попробовать ее на своих видео в AI Studio.

В этом разделе устанавливается SDK, настраивается с использованием вашего ключа API, импортируются соответствующие библиотеки, загружаются образцы видео и загружаются в Gemini.

Разверните раздел, если вам интересно, но вы также можете просто запустить его (это займет пару минут, так как файлы большие) и сразу перейти к примерам.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для пошагового руководства.

С новым SDK теперь вам нужно только инициализировать клиент с вашим ключом API (или OAuth, если вы используете Vertex AI). Модель теперь устанавливается в каждом вызове.

Выберите модель Gemini, которую вы хотите использовать для понимания видео.

Вы начнете с загруженных видео, так как это более распространенный вариант использования, но позже вы также увидите, что можно использовать видео с YouTube.

Загрузите все видео с помощью File API. Более подробную информацию о том, как его использовать, вы можете найти в блокноте Начало работы.

Это может занять пару минут, так как видео нужно будет обработать и токенизировать.

СОВЕТ: Включите агентное понимание видео, которое позволяет модели динамически перемещаться по временной шкале видео.

Сначала попробуйте использовать модель для поиска внутри ваших…

План урока

  1. Настройка
  2. Установка SDK
  3. Настройка ключа API
  4. Инициализация клиента SDK
  5. Выбор модели Gemini
  6. Получение образцов видео
  7. Загрузка видео
  8. Импорт

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды