Сегментация

О чём урок

Ранее мы изучили обнаружение объектов, которое позволяет находить объекты на изображении, предсказывая их ограничивающие рамки. Однако для некоторых задач нам нужны не только ограничивающие рамки, но и более точная локализация объектов. Эта задача называется сегментацией. Сегментацию можно рассматривать как классификацию пикселей, где для каждого пикселя изображения мы должны предсказать его класс (фон является одним из классов). Существуют два основных алгоритма сегментации: Семантическая сегментация определяет только класс пикселя и не различает отдельные объекты одного и того же класса. Сегментация экземпляров разделяет классы на отдельные экземпляры. При сегментации экземпляров эти овцы считаются разными объектами, но при семантической сегментации все овцы представлены одним классом. Изображение из этой статьи в блоге Существуют различные нейронные архитектуры для сегментации, но все они имеют одинаковую структуру. В некотором смысле, она похожа на автоэнкодер, о котором вы узнали ранее, но вместо деконструкции исходного изображения наша цель: деконструировать маску. Таким образом, сеть для сегментации состоит из следующих частей: Энкодер извлекает признаки из входного изображения. Декодер преобразует эти признаки в маску изображения, с тем же размером и количеством каналов, соответствующих количеству классов. Изображение из этой публикации Особое внимание следует уделить функции потерь, используемой для сегментации. При использовании классических автоэнкодеров нам нужно измерить сходство между двумя изображениями, и для этого можно использовать среднеквадратичную ошибку (MSE). В сегментации каждый пиксель в целевой маске изображения представляет номер класса (закодированный в формате one-hot вдоль третьего измерения), поэтому необходимо использовать функции потерь, специфичные для классификации, кросс-энтропийную функцию потерь, усреднённую по всем пикселям. Если маска бинарная, используется бинарная кросс-энтропийная функция потерь (BCE). ✅ One-hot кодирование: способ кодирования метки класса в вектор длиной, равной количеству классов. Ознакомьтесь с этой статьёй о данной технике. В этом уроке мы увидим сегментацию в действии, обучая сеть распознавать невусы (также известные как родинки) на медицинских изображениях. Мы будем использовать базу данных PH2 дерматоскопических изображений в качестве источника данных.

План урока

1. Тест перед лекцией
2. Сегментация в медицинской визуализации
3. ✍️ Упражнения: Семантическая сегментация
4. Тест после лекции
5. Заключение
6. 🚀 Задание
7. Обзор и самостоятельное изучение
8. Задание