¿Cuáles son las medidas para la precisión de los datos de múltiples etiquetas?

Considere un escenario en el que se le proporciona la matriz KnownLabel y la matriz PredictedLabel. Me gustaría medir la bondad de la matriz PredictedLabel contra la matriz KnownLabel.

Pero el desafío aquí es que KnownLabel Matrix tiene pocas filas solo un 1 y otras pocas filas tienen muchos 1 (esas instancias tienen etiquetas múltiples). A continuación se muestra un ejemplo de KnownLabel Matrix.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

En la matriz anterior, las instancias de datos 1 y 2 son datos de etiqueta única, las instancias de datos 3 y 4 son datos de dos etiquetas y la instancia de datos 5 son los datos de tres etiquetas.

Ahora tengo PredictedLabel Matrix de instancia de datos usando un algoritmo.

Me gustaría conocer varias medidas que se pueden utilizar para medir la bondad de la matriz de PredictedLabel contra la matriz de KnownLabel.

Puedo pensar en la diferencia de la norma frobeinus entre ellos como una de las medidas. Pero estoy buscando la medida, como la precisión $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

Aquí, ¿cómo podemos definir la para múltiples instancias de datos? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— Aprendiz
fuente

(+1) Nota al margen: ¿Hay una razón específica por la que no has aceptado una respuesta en la mayoría de tus preguntas? ¿Por qué no publicó un comentario cuando la respuesta proporcionada no resolvió su problema? Por ejemplo: stats.stackexchange.com/questions/9947/…

— steffen

Respuestas:

(1) da una buena visión general:

La página de Wikipedia n clasificación multi-etiqueta contiene también una sección sobre las métricas de evaluación.

Agregaría una advertencia de que en la configuración de múltiples etiquetas, la precisión es ambigua: puede referirse a la relación de coincidencia exacta o al puntaje de Hamming (consulte esta publicación ). Desafortunadamente, muchos documentos usan el término "precisión".

(1) Sorower, Mohammad S. " Una encuesta bibliográfica sobre algoritmos para el aprendizaje de etiquetas múltiples " . Oregon State University, Corvallis (2010).

— Franck Dernoncourt
fuente

¿Estas definiciones van en contra de las definiciones generales de precisión y recuperación? Siempre he leído que la precisión debería dividirse entre TP + FP y el recuerdo debería dividirse entre TP + FN (las definiciones propuestas aquí hacen lo contrario si lo entendí bien).

— tomasyany

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

para la accuracymedida, ¿cómo manejas elegantemente los casos donde el denominador |Y + Z| == 0?

— ihadanny el

@tomasyany se refiere a las definiciones de texto (no a las fórmulas), que parecen estar cambiadas.

— Narfanar

Y esta definición de AP se parece más a mAP (AP promedio), ¿no? Lo que se conoce como 'Precisión' es el IoU promedio. Los términos son bastante confusos en general.

— Narfanar

La pérdida de Hamming es probablemente la función de pérdida más utilizada en la clasificación de etiquetas múltiples.

Eche un vistazo a los estudios empíricos sobre clasificación multi-etiqueta y clasificación multi-etiqueta: una descripción general , los cuales discuten esto.

— tdc
fuente

Correctly Predictedes la intersección entre el conjunto de etiquetas sugeridas y el conjunto esperado. Total Instanceses la unión de los conjuntos anteriores (sin conteo duplicado).

Entonces, dado un solo ejemplo donde predices las clases A, G, Ey el caso de prueba tiene E, A, H, Plas correctas con las que terminasAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
fuente