¿Cómo interpretar las medidas de error?

Estoy ejecutando la clasificación en Weka para un determinado conjunto de datos y he notado que si estoy tratando de predecir un valor nominal, la salida muestra específicamente los valores predichos de forma correcta e incorrecta. Sin embargo, ahora lo estoy ejecutando para un atributo numérico y el resultado es:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441

¿Cómo interpreto esto? He intentado buscar en Google cada noción, pero no entiendo mucho ya que las estadísticas no están en mi campo de especialización. Agradecería mucho un tipo de respuesta ELI5 en términos de estadísticas.

— FloIancu
fuente

Vamos a denotan el verdadero valor de interés como y el valor estimado utilizando algún algoritmo como . $\theta$ $\hat{\theta}$

Correlación le indica la cantidad y están relacionados. Se da valores entre y , donde es ninguna relación, es muy fuerte, relación lineal y es una inversa lineal relación (es decir, valores más grandes de indican valores más pequeños de , o viceversa). A continuación encontrará un ejemplo ilustrado de correlación. $\theta$ $\hat{\theta}$ $-1$ $1$ $0$ $1$ $-1$ $\theta$ $\hat{\theta}$

Ejemplo de correlación

(fuente: http://www.mathsisfun.com/data/correlation.html )

El error absoluto medio es:

M A E = \frac{1}{N} \sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |

$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$

El error cuadrático medio es:

R METRO S mi = \sqrt{\frac{1}{norte} \sum_{yo = 1}^{norte} {({\hat{θ}}_{yo} - θ_{yo})}^{2}}

$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$

Error absoluto relativo :

R A E = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

donde es un valor medio de $\overline{\theta}$ . $\theta$

Error al cuadrado relativo de la raíz:

R R S E = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

Como puede ver, todas las estadísticas comparan los valores verdaderos con sus estimaciones, pero lo hacen de una manera ligeramente diferente. Todos te dicen "a qué distancia" están tus valores estimados del verdadero valor de . Algunas veces se usan raíces cuadradas y otras veces valores absolutos; esto se debe a que al usar raíces cuadradas los valores extremos tienen más influencia en el resultado (vea ¿Por qué cuadrar la diferencia en lugar de tomar el valor absoluto en la desviación estándar? $\theta$ O en Mathoverflow ).

En y simplemente observa la "diferencia promedio" entre esos dos valores, por lo que los interpreta en comparación con la escala de su valor, (es decir, de 1 punto es una diferencia de 1 punto de entre y $\mathrm{ MAE}$ $\mathrm{ RMSE}$ $\mathrm{ MSE}$ $\theta$ $\hat{\theta}$ ). $\theta$

En y se dividen esas diferencias por la variación de para que tengan una escala de 0 a 1 y si multiplica este valor por 100 obtendrá similitud en la escala de 0-100 (es decir, porcentaje). Los valores de o decirle cuánto difiere de su valor medio, por lo que podría decir que se trata de cuánto difiere de sí mismo (compárese con la varianza $\mathrm{ RAE}$ $\mathrm{ RRSE}$ $\theta$ $\sum(\overline{\theta} - \theta_i)^2$ $\sum|\overline{\theta} - \theta_i|$ $\theta$ $\theta$ ) Debido a eso, las medidas se denominan "relativas": le dan resultados relacionados con la escala de $\theta$

Verifique también esas diapositivas .

— Tim
fuente

¡Gracias por su explicación! Estoy tratando de evaluar el rendimiento de varios algoritmos. Entonces, por ejemplo, si obtengo este otro resultado (Correlación: 0.3044, MAE: 10.832, MSE: 47.2971, RAE: 83.163%, RSE: 95.2797%) y trato de compararlo con el primero, ¿cuál podría decir que se realizó? ¿mejor?

— FloIancu

Debe elegir el modelo con mayor correlación y estimaciones de error más pequeñas. Como puede ver, existen múltiples medidas del rendimiento del modelo (y esas son solo unas pocas) y, a veces, dan respuestas diferentes. Casi nunca es el tipo de respuesta "sí / no" que obtienes. La tarea de selección de modelo sería más fácil si se pone al día con la teoría, puede consultar, por ejemplo, esas conferencias .

— Tim

¡Muchas gracias! ¡Seguí y marqué tu respuesta como la respuesta porque me has ayudado mucho!

— FloIancu

@Tim El error absoluto medio probablemente debería abreviarse como MAE :)

— Antoine

@MewX ¿Qué tipo de referencias estás buscando? Básicamente es un RMSE reescalado. No hay mucho que decir al respecto ...

— Tim