О чём урок
Этот Colab демонстрирует некоторые из захватывающих вариантов использования Gemini в пространственном понимании. Он фокусируется на возможностях Gemini по пониманию изображений и реального мира, включая указание и 3D-пространственное понимание, как это было кратко показано в видео Building with Gemini 2.0: Spatial understanding.
Указание является важной возможностью для моделей Vision Language Model, поскольку это позволяет модели точно ссылаться на объект. Gemini Flash имеет улучшенную точность в пространственном понимании, с предсказанием 2D-точек в качестве экспериментальной функции. Ниже вы увидите, что указание может быть объединено с рассуждениями.
Традиционно Vision Language Model (VLM) видит мир в 2D, однако Gemini 3.7 Flash может выполнять 3D-обнаружение. Модель имеет общее представление о пространстве и знает, где находятся объекты в 3D-пространстве.
Модель будет отвечать на запросы, связанные с пространственным пониманием, в формате JSON для облегчения парсинга, и координаты всегда имеют одинаковые соглашения. Чтобы этот пример был более читабельным, он накладывает пространственные сигналы на изображение, и читатели могут навести курсор на изображение, чтобы получить полный ответ. Координаты находятся в кадре изображения и нормализованы до целого числа от 0 до 1000. Верхний левый угол — (0,0), а нижний правый — (1000,1000). Точка имеет порядок [y, x], а 2D-ограничивающие рамки имеют порядок y_min, x_min, y_max, x_max.
Кроме того, 3D-ограничивающие рамки представлены 9 числами: первые 3 числа представляют центр объекта в кадре камеры, они в метрических единицах; следующие 3 числа представляют размер объекта в метрах, а последние 3 числа — углы Эйлера, представляющие крен, тангаж и рыскание, они в градусах.
Чтобы узнать больше о 2D-пространственном понимании, пожалуйста, ознакомьтесь с 2D-примерами и примером пространственного понимания из Google AI Studio.
Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.
С новым SDK…
План урока
- Точки и 3D-ограничивающие рамки являются экспериментальными. Используйте 2D-ограничивающие рамки для большей точности.
- Настройка
- Установка SDK
- Настройка ключа API
- Инициализация клиента SDK
- Выбор модели
- Загрузка образцов изображений
- Указание на элементы с помощью Gemini
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.