О чём урок
Gemini с самого начала была мультимодальной моделью, способной анализировать все виды медиа, используя свое длинное контекстное окно.
Модели Gemini выводят анализ видео на совершенно новый уровень, как показано в этом видео.
Примечание: В этом блокноте используется Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.
Этот блокнот покажет вам, как легко использовать Gemini для выполнения такого же анализа видео. Каждый из них имеет разные подсказки, которые вы можете выбрать с помощью выпадающего списка, также не стесняйтесь экспериментировать со своими собственными.
Вы также можете посмотреть живую демонстрацию и попробовать ее на своих видео в AI Studio.
В этом разделе устанавливается SDK, настраивается с использованием вашего ключа API, импортируются соответствующие библиотеки, загружаются образцы видео и загружаются в Gemini.
Разверните раздел, если вам интересно, но вы также можете просто запустить его (это займет пару минут, так как файлы большие) и сразу перейти к примерам.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для пошагового руководства.
С новым SDK теперь вам нужно только инициализировать клиент с вашим ключом API (или OAuth, если вы используете Vertex AI). Модель теперь устанавливается в каждом вызове.
Выберите модель Gemini, которую вы хотите использовать для понимания видео.
Вы начнете с загруженных видео, так как это более распространенный вариант использования, но позже вы также увидите, что можно использовать видео с YouTube.
Загрузите все видео с помощью File API. Более подробную информацию о том, как его использовать, вы можете найти в блокноте Начало работы.
Это может занять пару минут, так как видео нужно будет обработать и токенизировать.
СОВЕТ: Включите агентное понимание видео, которое позволяет модели динамически перемещаться по временной шкале видео.
Сначала попробуйте использовать модель для поиска внутри ваших…
План урока
- Настройка
- Установка SDK
- Настройка ключа API
- Инициализация клиента SDK
- Выбор модели Gemini
- Получение образцов видео
- Загрузка видео
- Импорт
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.