Системный промпт и извлечение результатов

О чём урок

Модели с возможностями зрения являются основной частью современных систем для классификации и понимания изображений. С Mistral Large 4 (ML4) мы значительно улучшили возможности зрения и обнаружения объектов, что позволяет разработчикам использовать модель для извлечения BBox или даже для указания на объекты и компоненты экрана. В этом руководстве мы рассмотрим, как вы можете использовать ML4 для обнаружения объектов. Сначала мы устанавливаем SDK mistralai и настраиваем ключ API, созданный в нашей Studio. Когда наш клиент готов, мы можем вызвать модель для анализа изображения. Давайте попробуем и запросим ограничивающие рамки вокруг фотографии Эйфелевой башни. Модель ответила словарями; они соответствуют ограничивающим рамкам. Мы настоятельно рекомендуем следующий формат для обнаружения объектов: - BBox: {"box_2d": [xmin, ymin, xmax, ymax], "label": string} - Point: {"point_2d": [x, y], "label": string} С координатами x и y, нормализованными между 0 и 1000 [0-999]. Давайте извлечем словари с нашими координатами и отобразим результаты. Отлично — у нас есть координаты запрошенных объектов. Для надежности и хорошей производительности мы рекомендуем использовать эти возможности обнаружения объектов со следующими советами: - Включите системный промпт, подробно описывающий задачу: - Краткое описание цели модели/агента. - Задачи обнаружения объектов, т.е. box_2d и point_2d. - Формат ответа, дающий пример ожидаемого вывода. - Ожидаемый вывод: ML4 обеспечивает наилучшие результаты при предоставлении данных в виде словарей, как показано ниже: - Ограничивающие рамки: {'box_2d': [xmin, ymin, xmax, ymax], 'label': string} - Точки: {'point_2d': [x, y], 'label': string} - Со всеми координатами, нормализованными между 0 и 999. - Свободная генерация: мы рекомендуем не использовать структурированные выводы, а вместо этого позволить модели отвечать свободно, следуя инструкциям. - Извлечение результатов: после того как модель ответила, извлеките результаты, анализируя словари.

План урока

1. Установка
2. Вызов модели
3. Формат вывода
4. Рекомендуемое использование
5. Системный промпт и извлечение результатов
6. Box 2D и Point 2D
7. Другие примеры