Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 45 · Текст · ~5 мин

Как Gemini понимает расположение объектов на картинке

Урок 45 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот блокнот представляет обнаружение объектов и пространственное понимание с помощью Gemini API, как в примере пространственного понимания из AI Studio и продемонстрировано в видео Создание с Gemini 2.0: Пространственное понимание.

Существует множество примеров, включая обнаружение объектов с помощью

  • простого наложения информации
  • поиска внутри изображения
  • перевода и понимания вещей на нескольких языках
  • использования мыслительных способностей Gemini

Примечание

Нет "магического промпта". Не стесняйтесь экспериментировать с разными. Вы можете использовать выпадающий список, чтобы увидеть различные примеры, но вы также можете написать свои собственные промпты. Кроме того, вы можете попробовать загрузить свои собственные изображения.

Примечание: Этот блокнот использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для пошагового руководства.

С новым SDK вам теперь нужно только инициализировать клиент с вашим ключом API.

Пространственное понимание лучше всего работает с моделью Gemini 3.7 Flash. Еще лучше с моделями 2.5, такими как gemini-2.5-pro, но немного медленнее, так как это мыслительная модель.

Обнаружение объектов содержит хорошие примеры того, что могли делать предыдущие модели.

Для получения дополнительной информации обо всех моделях Gemini, проверьте документацию для расширенной информации о каждой из них.

С новым SDK параметры system_instructions и model должны передаваться во всех вызовах interactions.create, поэтому давайте сохраним их, чтобы не вводить их каждый раз.

Системные инструкции в основном используются для сокращения промптов, чтобы не повторять каждый раз формат. Они также указывают модели, как работать с похожими объектами, что является хорошим способом дать ей проявить творческий подход.

Пример пространственного понимания использует другую стратегию без системных инструкций, но с более длинным промптом.

Также рекомендуется всегда отключать мышление, так как пока оно добавляет задержку, не…

План урока

  1. Настройка
  2. Установка SDK
  3. Настройка ключа API
  4. Инициализация клиента SDK
  5. Выбор и настройка модели
  6. Системные инструкции
  7. Импорт
  8. Утилиты

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды