О чём урок
Этот notebook демонстрирует, как можно использовать мультимодальные возможности моделей Gemini для распознавания исторического события, происходящего на видео. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret под именем GEMINI_API_KEY. Если у вас еще нет API key, или вы не знаете, как создать Colab Secret, см. Authentication для примера. В этом примере используется видеозапись речи президента Рональда Рейгана у Берлинской стены, сделанная 12 июня 1987 года. Загруженное видео готово к обработке. Этот prompt предписывает модели предоставить базовую информацию об исторических событиях, изображенных на видео. Некоторые исторические события затрагивают спорные темы, которые могут быть помечены Gemini API, что блокирует ответ на запрос. Из-за этого может быть хорошей идеей отключить настройки безопасности. Как вы можете видеть, модель корректно предоставила информацию о датах, Рональде Рейгане, который был главным действующим лицом видео, и названии этого события. Вы можете удалить видео, чтобы предотвратить ненужное хранение данных. Теперь вы знаете, как можно использовать prompt'ы с видео для моделей Gemini и применять их для распознавания исторических событий. Этот notebook демонстрирует лишь один из множества вариантов использования. Ознакомьтесь с notebook'ом Video understanding для получения дополнительных примеров использования Gemini API с видео.
План урока
- Настройка вашего API key
- Пример
- Резюме
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.