Как Gemini понимает видео

О чём урок

Gemini изначально является мультимодальной моделью, способной анализировать все виды медиа с использованием своего длинного контекстного окна. Модели Gemini выводят анализ видео на совершенно новый уровень, как показано в этом видео. Примечание: Этот notebook использует Interactions API — новейший способ взаимодействия с моделями Gemini. Ищете версию с generateContent? Проверьте архивную ветку. Этот notebook покажет вам, как легко использовать Gemini для выполнения аналогичного анализа видео. Каждый из них имеет различные prompt'ы, которые вы можете выбрать с помощью выпадающего списка, а также можете экспериментировать со своими собственными. Вы также можете посмотреть живую демонстрацию и попробовать ее на своих собственных видео в AI Studio. В этом разделе устанавливается SDK, настраивается с использованием вашего API key, импортируются соответствующие библиотеки, загружаются примеры видео и они загружаются в Gemini. Разверните раздел, если вам интересно, но вы также можете просто запустить его (это займет пару минут, так как файлы большие) и сразу перейти к примерам. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства. С новым SDK теперь вам нужно только инициализировать клиент с вашим API key (или OAuth, если вы используете Vertex AI). Модель теперь устанавливается при каждом вызове. Выберите модель Gemini, которую вы хотите использовать для понимания видео. Вы начнете с загруженных видео, так как это более распространенный сценарий использования, но позже вы также увидите, что можно использовать видео с YouTube. Загрузите все видео с помощью File API. Более подробную информацию о том, как его использовать, вы найдете в notebook'е Начало работы. Это может занять пару минут, так как видео потребуется обработать и tokenized. Сначала попробуйте использовать модель для поиска в ваших видео и описания всех наблюдений животных в видео с лесной камеры.

План урока

1. Настройка
2. Установка SDK
3. Настройка вашего API key
4. Инициализация клиента SDK
5. Выбор модели Gemini
6. Получение примеров видео
7. Загрузка видео
8. Импорты