Обнаружение объектов

О чём урок

Модели классификации изображений, которые мы рассматривали ранее, принимали изображение и выдавали категориальный результат, например, класс «цифра» в задаче MNIST. Однако во многих случаях нам недостаточно просто знать, что на снимке есть объекты, мы хотим определять их точное местоположение. Именно этим занимается обнаружение объектов. Изображение с веб-сайта YOLO v2 Предположим, вы хотите найти кошку на изображении. Очень наивный подход к обнаружению объектов будет следующим: Разбить изображение на несколько фрагментов. Запустить классификацию изображений для каждого фрагмента. Фрагменты, которые дают достаточно высокую активацию, можно считать содержащими искомый объект. Изображение из учебной тетради Однако этот подход далек от идеала, поскольку он позволяет алгоритму определять ограничивающую рамку объекта лишь очень неточно. Для более точного определения местоположения нам потребуется использовать регрессию для предсказания координат ограничивающих рамок, а для этого нужны специальные наборы данных. Эта статья в блоге содержит отличное простое введение в обнаружение форм. Для этой задачи вы можете встретить следующие наборы данных: PASCAL VOC: 20 классов. COCO: Common Objects in Context. 80 классов, ограничивающие рамки и маски сегментации. Если для классификации изображений легко измерить, насколько хорошо работает алгоритм, то для обнаружения объектов нам нужно измерять как правильность класса, так и точность предсказанного местоположения ограничивающей рамки. Для последнего мы используем так называемое пересечение по объединению (IoU), которое измеряет, насколько хорошо две рамки (или две произвольные области) перекрываются. Рисунок 2 из этой отличной статьи в блоге об IoU Идея проста: мы делим площадь пересечения двух фигур на площадь их объединения. Для двух идентичных областей IoU будет равно 1, а для полностью непересекающихся областей оно будет равно 0. В остальных случаях значение будет варьироваться от 0 до 1. Обычно мы учитываем только те ограничивающие рамки, для которых IoU превышает определенное значение. Предположим, мы хотим измерить, насколько хорошо распознается заданный класс объектов $C$.

План урока

1. Тест перед лекцией
2. Наивный подход к обнаружению объектов
3. Регрессия для обнаружения объектов
4. Наборы данных для обнаружения объектов
5. Метрики обнаружения объектов
6. Пересечение по объединению (Intersection over Union)
7. Средняя точность (Average Precision)
8. AP и IoU