О чём урок
Этот блокнот представляет обнаружение объектов и пространственное понимание с помощью Gemini API, как в примере пространственного понимания из AI Studio и продемонстрировано в видео Создание с Gemini 2.0: Пространственное понимание.
Существует множество примеров, включая обнаружение объектов с помощью
- простого наложения информации
- поиска внутри изображения
- перевода и понимания вещей на нескольких языках
- использования мыслительных способностей Gemini
Примечание
Нет "магического промпта". Не стесняйтесь экспериментировать с разными. Вы можете использовать выпадающий список, чтобы увидеть различные примеры, но вы также можете написать свои собственные промпты. Кроме того, вы можете попробовать загрузить свои собственные изображения.
Примечание: Этот блокнот использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для пошагового руководства.
С новым SDK вам теперь нужно только инициализировать клиент с вашим ключом API.
Пространственное понимание лучше всего работает с моделью Gemini 3.7 Flash. Еще лучше с моделями 2.5, такими как gemini-2.5-pro, но немного медленнее, так как это мыслительная модель.
Обнаружение объектов содержит хорошие примеры того, что могли делать предыдущие модели.
Для получения дополнительной информации обо всех моделях Gemini, проверьте документацию для расширенной информации о каждой из них.
С новым SDK параметры system_instructions и model должны передаваться во всех вызовах interactions.create, поэтому давайте сохраним их, чтобы не вводить их каждый раз.
Системные инструкции в основном используются для сокращения промптов, чтобы не повторять каждый раз формат. Они также указывают модели, как работать с похожими объектами, что является хорошим способом дать ей проявить творческий подход.
Пример пространственного понимания использует другую стратегию без системных инструкций, но с более длинным промптом.
Также рекомендуется всегда отключать мышление, так как пока оно добавляет задержку, не…
План урока
- Настройка
- Установка SDK
- Настройка ключа API
- Инициализация клиента SDK
- Выбор и настройка модели
- Системные инструкции
- Импорт
- Утилиты
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.