¿Cuáles son las deficiencias del error de porcentaje absoluto medio (MAPE)?

El error porcentual absoluto medio ( mape ) es una medida de precisión o error común para series de tiempo u otras predicciones,

donde son reales y predicciones o predicciones correspondientes.$A_t$$F_t$

El MAPE es un porcentaje, por lo que podemos compararlo fácilmente entre series, y las personas pueden entender e interpretar fácilmente los porcentajes.

Sin embargo, escuché que el MAPE tiene inconvenientes. Me gustaría entender mejor estos inconvenientes para poder tomar una decisión informada sobre si usar el MAPE o alguna alternativa como el MSE ( mse ), el MAE ( mae ) o el MASE ( mase ).

Deficiencias del MAPE

• El MAPE, como porcentaje, solo tiene sentido para valores donde las divisiones y las relaciones tienen sentido. No tiene sentido calcular porcentajes de temperaturas, por ejemplo, por lo que no debe usar el MAPE para calcular la precisión de un pronóstico de temperatura.

• Si un solo real es cero, $A_t=0$ , entonces se divide por cero al calcular el MAPE, que no está definido.

  Resulta que, sin embargo, algunos software de pronóstico informan un MAPE para tales series, simplemente al eliminar períodos con cero reales ( Hoover, 2006 ). No es necesario decir que esta no es una buena idea, ya que implica que no nos importa en absoluto lo que pronosticamos si el real fuera cero, pero un pronóstico de $F_t=100$ y uno de $F_t=1000$ puede tener diferentes implicaciones Así que verifique qué hace su software.

  Si solo aparecen unos pocos ceros, puede usar un MAPE ponderado ( Kolassa y Schütz, 2007 ), que sin embargo tiene sus propios problemas. Esto también se aplica al MAPE simétrico ( Goodwin y Lawton, 1999 ).

• Pueden producirse MAPE superiores al 100%. Si prefiere trabajar con precisión, que algunas personas definen como 100% -MAPE, entonces esto puede conducir a una precisión negativa, que las personas pueden tener dificultades para comprender. ( No, la precisión truncada en cero no es una buena idea ) .

• Si tenemos datos estrictamente positivos que deseamos pronosticar (y según lo anterior, el MAPE no tiene sentido de otra manera), entonces nunca pronosticaremos por debajo de cero. Lamentablemente, MAPE trata las predicciones anteriores de manera diferente a las predicciones previas: una predicción inicial nunca contribuirá más del 100% (por ejemplo, si $F_t=0$ y $A_t=1$ ), pero la contribución de una predicción previa no tiene límites (por ejemplo, si $F_t=5$ y $A_t=1$ ). Esto significa que el MAPE puede ser menor para sesgos que para pronósticos no sesgados. Minimizarlo puede conducir a pronósticos con un sesgo bajo.

Especialmente la última viñeta merece un poco más de reflexión. Para esto, debemos dar un paso atrás.

Para empezar, tenga en cuenta que no conocemos el resultado futuro a la perfección, ni lo sabremos nunca. Entonces el resultado futuro sigue una distribución de probabilidad. Nuestro llamado pronóstico puntual $F_t$ es nuestro intento de resumir lo que sabemos sobre la distribución futura (es decir, la distribución predictiva ) en el tiempo $t$ usando un solo número. El MAPE es, entonces, una medida de calidad de una secuencia completa de tales resúmenes de un solo número de distribuciones futuras en los momentos $t=1, \dots, n$ .

El problema aquí es que la gente rara vez dice explícitamente qué es un buen resumen de un número de una distribución futura.

$F_t$$F_t$

Aquí está el problema: minimizar el MAPE generalmente no nos incentivará a generar esta expectativa, sino un resumen de un número bastante diferente ( McKenzie, 2011 , Kolassa, 2020 ). Esto sucede por dos razones diferentes.

• $(\mu=1,\sigma^2=1)$

  

  Las líneas horizontales dan los pronósticos de puntos óptimos, donde la "óptima" se define como minimizar el error esperado para varias medidas de error.

  • $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • $F_t=\exp\mu\approx 2.7$
  • $F_t=\exp(\mu-\sigma^2)=1.0$$\beta=-1$

  Vemos que la asimetría de la distribución futura, junto con el hecho de que el MAPE penaliza diferencialmente las predicciones excesivas e insuficientes, implica que minimizar el MAPE conducirá a pronósticos muy sesgados. ( Aquí está el cálculo de pronósticos de puntos óptimos en el caso gamma )

• $A_t$$t$

  

  En este caso:

  • $F_t=3.5$

  • $3\leq F_t\leq 4$

  • $F_t=2$

  Una vez más, vemos cómo minimizar el MAPE puede conducir a un pronóstico sesgado, debido a la penalización diferencial que aplica a las predicciones excesivas y subestimadas. En este caso, el problema no proviene de una distribución asimétrica, sino del alto coeficiente de variación de nuestro proceso de generación de datos.

  En realidad, esta es una ilustración simple que puede usar para enseñar a las personas sobre las deficiencias del MAPE: simplemente entregue a sus asistentes unos dados y haga que rueden. Ver Kolassa y Martin (2011) para más información.

Preguntas relacionadas con CrossValidated

• La diferencia entre MSE y MAPE
• La mejor manera de optimizar MAPE
• Minimización del error de porcentaje absoluto medio simétrico (SMAPE)
• MAPE vs R-cuadrado en modelos de regresión
• ¿Por qué usar una determinada medida de error de pronóstico (por ejemplo, MAD) en lugar de otra (por ejemplo, MSE)?

Código R

Ejemplo lognormal:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Ejemplo de lanzamiento de dados:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Referencias

Gneiting, T. Elaboración y evaluación de pronósticos de puntos . Revista de la Asociación Americana de Estadística , 2011, 106, 746-762

Goodwin, P. y Lawton, R. Sobre la asimetría del MAPE simétrico . Revista Internacional de Pronósticos , 1999, 15, 405-408

Hoover, J. Medición de la precisión del pronóstico: omisiones en los motores de pronóstico de hoy y el software de planificación de la demanda . Previsión: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Por qué el "mejor" pronóstico del punto depende del error o la medida de precisión (Comentario invitado sobre la competencia de pronóstico M4). International Journal of Forecasting , 2020, 36 (1), 208-211

Kolassa, S. y Martin, R. Los porcentajes de errores pueden arruinar su día (y Rolling the Dice muestra cómo) . Previsión: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. y Schütz, W. Ventajas de la relación MAD / Media sobre el MAPE . Previsión: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Error porcentual absoluto medio y sesgo en el pronóstico económico . Cartas de economía , 2011, 113, 259-262