¿Es inusual que MEAN supere a ARIMA?


38

Recientemente apliqué una variedad de métodos de pronóstico (MEAN, RWF, ETS, ARIMA y MLP) y descubrí que MEAN funcionó sorprendentemente bien. (MEDIO: donde todas las predicciones futuras se predicen como iguales a la media aritmética de los valores observados). MEDIO incluso superó a ARIMA en las tres series que utilicé.

Lo que quiero saber es si esto es inusual. ¿Significa esto que las series de tiempo que estoy usando son extrañas? ¿O esto indica que he configurado algo mal?



@Mehrdad definitivamente podría crear una buena respuesta en torno a Martingales.
shadowtalker

1
Es bastante común que los métodos simples funcionen bien, especialmente fuera de muestra (que es donde importa). Este efecto se hace más fuerte en series cortas. Si no hay mucha correlación serial o tendencia, entonces esperaríamos que la media funcione muy bien incluso con series relativamente largas.
Glen_b -Reinstale a Monica el

Respuestas:


31

Soy un profesional, productor y usuario de pronósticos y NO un estadístico capacitado. A continuación comparto algunos de mis pensamientos sobre por qué su pronóstico promedio resultó mejor que ARIMA al referirme a un artículo de investigación que se basa en evidencia empírica. Un libro que vuelvo a consultar una y otra vez es el libro Principios de pronóstico de Armstrong y su sitio web, que recomendaría como una excelente lectura para cualquier pronosticador, proporciona una gran visión sobre el uso y los principios rectores de los métodos de extrapolación.

Para responder a su primera pregunta : ¿Lo que quiero saber es si esto es inusual?

Hay un capítulo llamado Extrapolación para series temporales y datos transversales que también está disponible de forma gratuita en el mismo sitio web . La siguiente es la cita del capítulo.

"Por ejemplo, en la competencia M2 en tiempo real, que examinó 29 series mensuales, Box-Jenkins demostró ser uno de los métodos menos precisos y su error medio general fue un 17% mayor que el de un pronóstico ingenuo"

Existe una evidencia empírica de por qué sus pronósticos medios fueron mejores que los modelos ARIMA.

También se ha realizado estudio tras estudio en competencias empíricas y la tercera competencia M3 que muestra el enfoque Box - Jenkins ARIMA no produce pronósticos precisos y carece de evidencia de que funcione mejor para la extrapolación de tendencia univariante.

También hay otro artículo y un estudio en curso de Greene y Armstrong titulado " Pronóstico simple: evitar lágrimas antes de acostarse " en el mismo sitio web. Los autores del artículo resumen de la siguiente manera:

En total, identificamos 29 documentos que incorporan 94 comparaciones formales de la precisión de los pronósticos de métodos complejos con los de métodos simples, pero no en todos los casos sofisticadamente simples. El ochenta y tres por ciento de las comparaciones encontraron que los pronósticos de métodos simples eran más precisos que, o similarmente, a los de métodos complejos. En promedio, los errores de pronósticos de métodos complejos fueron aproximadamente un 32 por ciento mayores que los errores de pronósticos de métodos simples en los 21 estudios que proporcionan comparaciones de errores

Para responder a su tercera pregunta : ¿esto indica que he configurado algo mal? No, consideraría ARIMA como método complejo y pronóstico medio como métodos simples. Existe amplia evidencia de que métodos simples como el pronóstico medio superan a los métodos complejos como ARIMA.

Para responder a su segunda pregunta : ¿Esto significa que las series de tiempo que estoy usando son extrañas?

A continuación se presentan los que considero expertos en pronósticos del mundo real:

  • Makridakis (competencia pionera empírica en pronósticos llamada M, M2 y M3, y allanó el camino para métodos basados ​​en evidencia en el pronóstico)
  • Armstrong (Proporciona información valiosa en forma de libros / artículos sobre Prácticas de pronóstico)
  • Gardner (tendencia exponencial amortiguada inventada que suaviza otro método simple que funciona sorprendentemente bien frente a ARIMA)

Todos los investigadores anteriores abogan por la simplicidad (métodos como su pronóstico medio) frente a métodos complejos como ARIMA. Por lo tanto, debe sentirse cómodo de que sus pronósticos sean buenos y siempre favorezcan la simplicidad sobre la complejidad basada en evidencia empírica. Todos estos investigadores han contribuido enormemente al campo de los pronósticos aplicados.

Además de la buena lista de Stephan de método de pronóstico simple. También hay otro método llamado método de pronóstico Theta, que es un método muy simple (básicamente suavizado exponencial simple con una deriva que equivale a la mitad de la pendiente de la regresión lineal). Agregaría esto a su caja de herramientas. Forecast package in Rimplementa este método


2
Realmente me gusta la perspectiva que brindan sobre el pronóstico y la evidencia que aportan para apoyarlo, pero los elementos de esta respuesta son objetables porque se leen demasiado como una queja contra los "estadísticos" o tal vez contra el entrenamiento estadístico formal, y están completamente equivocados . Por ejemplo, los grados avanzados de Makridakis están en estadísticas (¿adivina qué?) , Eso es lo que enseña, y eso es lo que hace.
whuber

1
Lo tengo, lo eliminaré. Estaba tratando de señalar que los principales avances en los métodos basados ​​en la evidencia provenían de no estadísticos. Pero veo su punto de que podría parecer así
pronosticador

Hecho, también, Makridakis PHD estaba en Sistemas de Información Administrativa de acuerdo con esta entrevista publicada
pronosticador

Fwiw, su página de LinkedIn -que se mantiene - Listas de ambos doctores en sus estadísticas. Pero el argumento no tiene sentido: afirmar que alguien no es un estadístico porque su grado podría no estar específicamente en estadística tiene poco valor y no viene al caso aquí. (Hasta hace muy poco, la mayoría de las personas cuya carrera era en estadística tenía títulos en otros campos porque había pocos programas de estadísticas disponibles.)
whuber

2
+1. Sin embargo, usted escribe "Existe una evidencia empírica sobre por qué sus pronósticos medios fueron mejores que los modelos ARIMA". - no, esto solo nos dice que la media fue mejor (en este caso específico), no por qué . Daría la vuelta al argumento y pondría la carga de la prueba en ARIMA y otros modelos. Nunca he entendido por qué el proceso de generación de datos debería preocuparse por errores pasados ​​en mi modelo, que es lo que MA denomina esencialmente modelo. Mi sospecha personal es que ARIMA es tan popular porque realmente puedes probar cosas, como raíces unitarias y estacionariedad, no porque pronostique bien.
S. Kolassa - Restablece a Mónica el

36

Esto no es para nada sorprendente . En previsión, que muy a menudo se encuentra que los métodos extremadamente simples, como

  • la media general
  • la caminata aleatoria ingenua (es decir, la última observación utilizada como pronóstico)
  • una caminata aleatoria estacional (es decir, la observación de un año atrás)
  • Suavizado exponencial único

superan a los métodos más complejos. Es por eso que siempre debe probar sus métodos contra estos puntos de referencia muy simples.

Una cita de George Athanosopoulos y Rob Hyndman (que son expertos en el campo):

Algunos métodos de pronóstico son muy simples y sorprendentemente efectivos.

Observe cómo dicen explícitamente que utilizarán algunos métodos muy simples como puntos de referencia.

De hecho, se recomienda mucho todo su libro de texto abierto en línea gratuito sobre pronósticos .

EDITAR: Una de las medidas de error de pronóstico mejor aceptadas, el error absoluto absoluto escalado (MASE) de Hyndman & Koehler (ver también aquí ) mide cuánto mejora un pronóstico dado en el pronóstico de caminata aleatoria ingenua (en la muestra): si MASE <1, su pronóstico es mejor que la caminata aleatoria en la muestra. Es de esperar que sea un límite fácil de vencer, ¿verdad?

No es así: a veces, incluso los mejores métodos de pronóstico estándar múltiples como ARIMA o ETS solo producirán un MASE de 1.38, es decir, serán peores (fuera de la muestra) que el pronóstico de caminata aleatoria (dentro de la muestra). Esto es suficientemente desconcertante para generar preguntas aquí. (Esa pregunta no es un duplicado de esta, ya que el MASE compara la precisión fuera de la muestra con la precisión dentro de la muestra de un método ingenuo, pero también es esclarecedor para la presente pregunta).


1
Gracias por aceptar, pero tal vez quieras esperar un día: si una pregunta ha aceptado respuestas, menos personas la leerán, y mucho menos comentarán o responderán. Y otras personas pueden tener diferentes opiniones sobre esto. Siéntase libre de no aceptar ;-)
S. Kolassa - Restablecer Mónica el

Es muy honesto de su parte :) Le daré un día. Gracias.
Andy T

99
"complejo" es un pariente cercano de "sobreajustado".
shadowtalker

1
+1 buena respuesta. Si el pronóstico fuera un campo basado en la evidencia como la medicina, el método ARIMA sería historia.
pronosticador

2
ARIMA de mente simple sin validar los supuestos gaussianos ya es historia para la mayoría de nosotros, ¡pero aparentemente no para todos!
IrishStat
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.