Оценка пространственного мышления GPT-5.5

О чём урок

Системы компьютерного зрения традиционно подходили к пониманию пространства, декомпозируя его на более узкие задачи восприятия: обнаружение объектов, сегментация областей, классификация сцен или привязка языка к ограничивающим рамкам и маскам. Такая декомпозиция хорошо работает, когда целью является локализация. Она менее прямолинейна, когда задача требует от модели интерпретировать визуальную сцену, рассуждать о значении структуры, применять ограничения и создавать план, который остается действительным. Передовые мультимодальные модели делают возможным иной рабочий процесс. Вместо обучения модели, специфичной для задачи, на множестве парных примеров для одной области компоновки, мы можем проверить, способна ли модель, обладающая способностью к рассуждению, такая как GPT-5.5, решить большую часть задачи напрямую при наличии достаточной поддержки: четкого визуального контекста, операционной процедуры, ограниченных объектов, структурированного формата вывода и оценок, которые выявляют, где результат нарушается. Сценарий использования — генерация планировки офиса на основе пустого поэтажного плана. Получив изображение пустого поэтажного плана, стандартную операционную процедуру (SOP) для планировки офиса и каталог мебели, GPT-5.5 создает структурированную спецификацию планировки, которая определяет пространства, выводит роли помещений, применяет числовые правила, расставляет мебель и фиксирует предположения об исходном чертеже. Идея также возникла из реальной офисной проблемы. Численность персонала в нашем нью-йоркском офисе росла достаточно быстро, так что вопрос «можем ли мы разместить еще несколько столов где-нибудь?» стал звучать как вполне разумная вещь, которую можно спросить у модели. Мы используем поэтажный план офиса в качестве тестового примера, поскольку сбои легко проверять. GPT-5.5 получает пустой поэтажный план, многоразовую SOP для планировки и небольшой каталог мебели, а затем создает структурированную спецификацию планировки. Спецификация определяет пространства, выводит роли помещений, применяет числовые правила, расставляет мебель и фиксирует предположения об исходном чертеже. Эксперимент построен вокруг оценки этой спецификации, а не только суждения о визуализированном изображении. Каждый запуск можно проверить на механическую валидность, семантическую обоснованность и сходство с эталонным образцом, созданным человеком, если таковой существует.

План урока

1. Настройка задачи: от поэтажного плана к спецификации планировки
2. Настройка оценки
3. Результаты: выбранные контрольные точки hillclimb
4. Запуск 1 — Валидная планировка выявила неверную метрику
5. Запуск 2 — Правдоподобная планировка выявила неверную декомпозицию
6. Запуск 8 — Переполненная планировка выявила неверный контракт
7. Запуск 15 — Валидный сквозной случай прояснил разделение труда
8. Выводы