Внимание, спойлер: карта НЕ является средним показателем точности.
Можно простить за то, что mAP (средняя средняя точность) буквально означает среднее значение точности. Тем не менее, вы не могли быть дальше от истины!
Позволь мне объяснить.
В компьютерном зрении mAP - это популярная метрика оценки, используемая для обнаружения объектов (т. Е. Локализации и классификации). Локализация определяет местоположение экземпляра (например, координаты ограничивающей рамки), а классификация сообщает вам, что это такое (например, собака или кошка).
Многие алгоритмы обнаружения объектов, такие как Faster R-CNN, MobileNet SSD и YOLO, используют mAP для оценки своих моделей для публикации своих исследований.
Вы можете спросить, если это такой популярный показатель, почему он до сих пор сбивает с толку?
Справедливо!
MAP означает «Средняя средняя точность» (как вы уже догадались, глядя на название).
Вы можете подумать, что это средний показатель точности.
Если вы еще не знаете:
Точность определяет точность ваших прогнозов. т.е. процент ваших прогнозов верен.
Он измеряет, сколько прогнозов, сделанных вашей моделью, были на самом деле верными.
TP = истинно положительные результаты (как положительные, так и правильные)
FP = ложные срабатывания (прогнозировалось как положительное, но было неверно)
Если это так, давайте рассчитаем MAP для следующего изображения:
Из изображения получаем:
Истинно положительные результаты (TP) = 1
Неустойчивые положительные результаты (FP) = 0
Поскольку у нас есть только одно значение, средняя точность будет равна 1.
Глядя на оценку MAP, вы можете в конечном итоге использовать эту модель в своем приложении. Это было бы катастрофой.
И ЭТО Улов! Не позволяйте термину ввести вас в заблуждение.
MAP не рассчитывается как среднее значение точности.
Системы обнаружения объектов делают прогнозы в терминах ограничивающей рамки и метки класса.
Для каждого ограничивающего прямоугольника мы измеряем перекрытие между предсказанным ограничивающим прямоугольником и наземным ограничивающим прямоугольником. Это измеряется IoU (пересечение над объединением).
Для задач обнаружения объектов мы рассчитываем точность и отзыв, используя значение IoU для заданного порогового значения IoU.
Например, если порог IoU равен 0,5, а значение IoU для прогноза составляет 0,7, то мы классифицируем прогноз как истинно положительный (TF). С другой стороны, если IoU равно 0,3, мы классифицируем его как ложноположительный (FP).
Это также означает, что для прогноза мы можем получить разные двоичные положительные значения ИСТИНА или ЛОЖЬ, изменяя порог IoU.
Еще один важный термин, который необходимо понять, - это напоминание.
Напомнить измеряет, насколько хорошо вы находите все положительные моменты. Например, мы можем найти 80% возможных положительных случаев в наших лучших прогнозах K.
TP = истинно положительные результаты (как положительные, так и правильные)
FN = ложно-отрицательные (не удалось предсказать, какой объект там находился)
Общее определение средней точности (AP) - это нахождение области под кривой точности-отзыва, приведенной выше.
MAP (средняя средняя точность) - это среднее значение AP.
В некоторых контекстах AP рассчитывается для каждого класса и усредняется для получения MAP. Но в других они означают то же самое. Например, для оценки проблемы COCO нет разницы между AP и mAP.
AP усредняется по всем категориям. Традиционно это называется средняя средняя точность (MAP). Мы не делаем различий между AP и mAP (а также AR и mAR) и предполагаем, что разница очевидна из контекста. Оценка COCO
Средняя оценка точности или MAP рассчитывается путем взятия среднего AP по всем классам и / или общим пороговым значениям IoU, в зависимости от различных существующих проблем обнаружения.
В вызове PASCAL VOC2007 AP для одного класса объектов рассчитывается для порога IoU, равного 0,5. Таким образом, MAP усредняется по всем классам объектов.
Для задачи COCO 2017 MAP усредняется по всем категориям объектов и 10 пороговым значениям IoU.
Итак, для приведенного выше изображения ADAS давайте рассчитаем карту MAP, используя фактическую формулу:
Здесь мы предполагаем, что порог доверительной оценки равен 0,5, а порог IoU также равен 0,5.
Таким образом, мы вычисляем AP на пороге IoU o.5.
Для простоты мы вычислим среднее значение для точки AP, интерполированной по 11 точкам. В последних исследованиях были представлены более совершенные методы расчета AP.
Истинно положительные результаты (TP) = 1
Неустойчивые положительные результаты (FP) = 0
Ложноотрицательные (FN) = 1
Мы строим интерполированную кривую Precision-Recall по 11 точкам.
Теперь мы рассчитаем AP, взяв площадь под кривой PR. Это достигается путем равномерного разделения отзывов на 11 частей: {0,0.1,0.2,…, 0.9,1}.
Итак, mAP@0,5 для изображения - 0,545, а не 1.
Надеюсь, это проясняет ваше недоразумение по поводу карты.
Первоначально опубликовано на www.xailient.com/blogs
Хотите обучить и оценить модель компьютерного зрения? "Кликните сюда".
Ищете предварительно обученную модель распознавания лиц. "Нажмите сюда для того, чтобы скачать.
Прочтите этот пост, чтобы узнать больше о создании надежной модели обнаружения объектов.
Ссылки:
Ван Эттен, А. (2019, январь). Многоуровневое быстрое обнаружение спутниковых изображений с оконными сетями. В статье Зимняя конференция IEEE 2019 по приложениям компьютерного зрения (WACV) (стр. 735–743). IEEE.
Http://host.robots.ox.ac.uk/pascal/VOC/
Авторы
Шиви Йоханандан
Сабина Похрел
