Как оценивать генерацию и редактирование картинок

О чём урок

Модели изображений всё чаще используются в реальных продуктовых рабочих процессах — для создания дизайн-макетов, маркетинговых материалов, виртуальных примерок и высокоточного редактирования существующих брендовых материалов. Чтобы доверять этим системам в продакшене, вам нужно нечто большее, чем просто «выглядит ли это хорошо?». Вам нужна повторяемая, специфичная для рабочего процесса оценка, которая измеряет, соответствуют ли выходные данные требованиям, безопасно ли они завершаются сбоем и предсказуемо ли улучшаются со временем. Оценки визуальных данных (или vision evals) сложнее, чем text evals, потому что «ответ» представляет собой изображение, которое сочетает в себе: Жёсткие ограничения: точный текст, количество, атрибуты, локальность («изменить только эту область»). Воспринимаемое качество: резкость, связность, реализм, эстетическое соответствие. Скрытые режимы отказа: тонкие искажения, непреднамеренные изменения или небольшие текстовые ошибки, которые на первый взгляд выглядят нормально, но нарушают продуктовые требования — особенно при редактировании. Хорошая vision eval не оценивает «красивую картинку». Она оценивает, является ли модель надёжной для конкретного рабочего процесса. Многие изображения, которые выглядят визуально сильными, всё равно терпят неудачу, потому что текст неверен, стиль не соответствует бренду или изменения выходят за пределы предполагаемой области. Image evals измеряют качество, управляемость и удобство использования для реальных prompt'ов — а не только визуальную привлекательность.

План урока

1. Введение
2. Что охватывает это руководство
3. Создание каркаса Vision Eval
4. vision_harness/types.py
5. vision_harness/io.py
6. vision_harness/storage.py
7. vision_harness/sweeps.py
8. vision_harness/runners.py