Как Gemini понимает расположение объектов на картинке

О чём урок

Этот notebook знакомит с object detection и spatial understanding с помощью Gemini API, как в примере Spatial understanding из AI Studio и продемонстрировано в видео Создание с Gemini 2.0: Spatial understanding. Вы узнаете, как использовать Gemini так же, как в демо, и выполнять object detection следующим образом: Существует множество примеров, включая object detection с простым наложением информации поиском внутри изображения переводом и пониманием объектов на нескольких языках использованием способностей Gemini к рассуждению (thinking abilities) Примечание Не существует "волшебного prompt". Не стесняйтесь экспериментировать с разными. Вы можете использовать dropdown, чтобы увидеть различные samples, но также можете писать свои собственные prompts. Кроме того, вы можете попробовать загрузить свои собственные изображения. Примечание: Этот notebook использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства. С новым SDK вам теперь нужно только инициализировать client с вашим API key. Spatial understanding лучше всего работает с моделью Gemini 3.7 Flash. Еще лучше с моделями 2.5, такими как gemini-2.5-pro, но немного медленнее, так как это thinking модель. Object detection содержит хорошие примеры того, что могли делать предыдущие модели. Для получения дополнительной информации обо всех моделях Gemini, проверьте документацию для расширенной информации о каждой из них. С новым SDK параметры system_instructions и model должны передаваться во всех вызовах interactions.create, поэтому давайте сохраним их, чтобы не вводить каждый раз. Системные инструкции в основном используются для сокращения prompts, чтобы не повторять каждый раз формат. Они также сообщают модели, как обращаться с похожими объектами, что является хорошим способом дать ей возможность проявить творческий подход.

План урока

1. Настройка
2. Установка SDK
3. Настройка вашего API key
4. Инициализация SDK client
5. Выбор и настройка модели
6. Системные инструкции
7. Импорт
8. Утилиты