Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 31 · Текст · ~5 мин

Указание точек и 3D-понимание сцены

Урок 31 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот Colab демонстрирует некоторые из захватывающих вариантов использования Gemini в пространственном понимании. Он фокусируется на возможностях Gemini по пониманию изображений и реального мира, включая указание и 3D-пространственное понимание, как это было кратко показано в видео Building with Gemini 2.0: Spatial understanding.

Указание является важной возможностью для моделей Vision Language Model, поскольку это позволяет модели точно ссылаться на объект. Gemini Flash имеет улучшенную точность в пространственном понимании, с предсказанием 2D-точек в качестве экспериментальной функции. Ниже вы увидите, что указание может быть объединено с рассуждениями.

Традиционно Vision Language Model (VLM) видит мир в 2D, однако Gemini 3.7 Flash может выполнять 3D-обнаружение. Модель имеет общее представление о пространстве и знает, где находятся объекты в 3D-пространстве.

Модель будет отвечать на запросы, связанные с пространственным пониманием, в формате JSON для облегчения парсинга, и координаты всегда имеют одинаковые соглашения. Чтобы этот пример был более читабельным, он накладывает пространственные сигналы на изображение, и читатели могут навести курсор на изображение, чтобы получить полный ответ. Координаты находятся в кадре изображения и нормализованы до целого числа от 0 до 1000. Верхний левый угол — (0,0), а нижний правый — (1000,1000). Точка имеет порядок [y, x], а 2D-ограничивающие рамки имеют порядок y_min, x_min, y_max, x_max.

Кроме того, 3D-ограничивающие рамки представлены 9 числами: первые 3 числа представляют центр объекта в кадре камеры, они в метрических единицах; следующие 3 числа представляют размер объекта в метрах, а последние 3 числа — углы Эйлера, представляющие крен, тангаж и рыскание, они в градусах.

Чтобы узнать больше о 2D-пространственном понимании, пожалуйста, ознакомьтесь с 2D-примерами и примером пространственного понимания из Google AI Studio.

Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.

С новым SDK…

План урока

  1. Точки и 3D-ограничивающие рамки являются экспериментальными. Используйте 2D-ограничивающие рамки для большей точности.
  2. Настройка
  3. Установка SDK
  4. Настройка ключа API
  5. Инициализация клиента SDK
  6. Выбор модели
  7. Загрузка образцов изображений
  8. Указание на элементы с помощью Gemini

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды