¿Qué significa la notación mAP @ [. 5: .95]?

17

Para la detección, una forma común de determinar si la propuesta de un objeto era correcta es Intersección sobre Unión (IoU, IU). Esto toma el conjunto de píxeles de objetos propuestos y el conjunto de píxeles verdaderos de objetos y calcula: $A$ $B$

yo o U (UN, si) = \frac{UN \cap si}{UN \cup si}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Comúnmente, IoU> 0.5 significa que fue un éxito, de lo contrario fue un fracaso. Para cada clase, uno puede calcular el

Verdadero Positivo ( ): se hizo una propuesta para la clase y en realidad había un objeto de la clase $TP(c)$ $c$ $c$
Falso positivo ( ): se hizo una propuesta para la clase , pero no hay ningún objeto de la clase $FP(c)$ $c$ $c$
Precisión promedio para la clase : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

El mAP (precisión media promedio) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Si se desean mejores propuestas, se aumenta el IoU de 0.5 a un valor más alto (hasta 1.0, lo cual sería perfecto). Se puede denotar esto con mAP @ p, donde es la IoU. $p \in (0, 1)$

Pero, ¿qué significa mAP@[.5:.95](como se encuentra en este documento )?

computer-vision

— Martin Thoma
fuente

Sospecho que la [.5:.95]parte se refiere a un rango de valores de IoU, pero no sabría cómo se evalúa ese rango en un solo mAP.

— Neil Slater

@NeilSlater Pero, ¿por qué quieres un límite superior? ¿No es siempre mejor un IoU más alto?

— Martin Thoma

Lograr una coincidencia con IoU más alta es mejor, pero presumiblemente el valor de mAP se reduce si medimos qué tan bien el modelo describe las coincidencias perfectas (para cualquier modelo), y no se considera una medida útil. Sin embargo, no sé por qué no está incluido en el rango, pero tampoco sé cómo se calcula el mAP en este caso; por ejemplo, puede ser una media simple basada en muestras.

— Neil Slater

1

Existe este repositorio de github con una excelente explicación sobre IOU , Precisión , Recuperación , Precisión promedio y mAP . También tiene un código que evalúa cualquier detector de objetos. Ciertamente los ayudará : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](alguien designado mAP@[.5,.95]) significa mAP promedio sobre diferentes umbrales de IoU, de 0.5 a 0.95, paso 0.05 (0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95).

Hay un desafío de MS COCO asociado con una nueva métrica de evaluación, que promedia mAP sobre diferentes umbrales de IoU, de 0.5 a 0.95 (escrito como "0.5: 0.95"). [ Ref ]

Evaluamos el mAP promediado para IoU ∈ [0.5: 0.05: 0.95] (métrica estándar de COCO, simplemente denotada como mAP @ [. 5, .95]) y mAP@0.5 (métrica PASCAL VOC). [ Ref ]

Para evaluar nuestras detecciones finales, utilizamos la API oficial de COCO [20], que mide mAP promediado sobre los umbrales de IOU en [0.5: 0.05: 0.95], entre otras métricas. [ Ref ]

Por cierto, el código fuente de coco muestra exactamente lo que mAP@[.5:.95]está haciendo:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Referencias

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Icyblade
fuente

¿Te importa una pregunta? Si, por ejemplo, tenemos 3 instancias de una determinada clase en el conjunto de datos y el modelo devuelve un valor de 0.1, 0.6 y 0.9 para ellos, ¿significa que descartamos el resultado de 0.1 y el valor promedio de 0.75 y el mAP correspondiente?

— Alex

5

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
fuente

Para aquellos que buscan en la referencia, la definición de Precisión promedio (AP) se encuentra en la página 11.

— Waylon Flinn

3

AP se promedia en todas las categorías. Tradicionalmente, esto se llama "precisión media promedio" (mAP). No hacemos distinción entre AP y mAP (e igualmente AR y mAR) y suponemos que la diferencia es clara por el contexto.

http://cocodataset.org/#detections-eval

— Mark Yang
fuente

Pensé que mAP es el promedio de AP en multiclase. Me gusta conocer su / autor autor definición de la categoría.

— Cloud Cho