AIC versus validación cruzada en series de tiempo: el caso de muestra pequeña

Estoy interesado en la selección de modelos en una configuración de series de tiempo. Para concreción, supongamos que quiero seleccionar un modelo ARMA de un grupo de modelos ARMA con diferentes órdenes de retraso. La intención final es pronosticar .

La selección del modelo puede hacerse por

1. validación cruzada,
2. uso de criterios de información (AIC, BIC),

entre otros métodos

Rob J. Hyndman proporciona una forma de hacer validación cruzada para series de tiempo . Para muestras relativamente pequeñas, el tamaño de muestra utilizado en la validación cruzada puede ser cualitativamente diferente del tamaño de muestra original. Por ejemplo, si el tamaño de la muestra original es de 200 observaciones, se podría pensar en comenzar la validación cruzada tomando las primeras 101 observaciones y expandiendo la ventana a 102, 103, ..., 200 observaciones para obtener 100 resultados de validación cruzada. Claramente, un modelo razonablemente parsimonioso para 200 observaciones puede ser demasiado grande para 100 observaciones y, por lo tanto, su error de validación será grande. Por lo tanto, es probable que la validación cruzada favorezca sistemáticamente modelos demasiado parsimoniosos. Este es un efecto indeseable debido a la falta de coincidencia en los tamaños de muestra .

Una alternativa a la validación cruzada es utilizar criterios de información para la selección del modelo. Como me preocupan los pronósticos, usaría AIC. A pesar de que AIC es asintóticamente equivalente a minimizar el MSE de pronóstico de un solo paso fuera de la muestra para modelos de series de tiempo (según esta publicación de Rob J. Hyndman), dudo que esto sea relevante aquí ya que la muestra los tamaños que me importan no son tan grandes ...

Pregunta: ¿ debería elegir AIC en lugar de la validación cruzada de series temporales para muestras pequeñas / medianas?

Algunas preguntas relacionadas se pueden encontrar aquí , aquí y aquí .

Dejando de lado las consideraciones teóricas, el Criterio de información de Akaike es solo una probabilidad penalizada por los grados de libertad. Lo que sigue, AIC explica la incertidumbre en los datos ( -2LL ) y supone que más parámetros conducen a un mayor riesgo de sobreajuste ( 2k ). La validación cruzada solo analiza el rendimiento del conjunto de pruebas del modelo, sin más suposiciones.

Si se preocupa principalmente por hacer las predicciones y puede suponer que los conjuntos de pruebas serían razonablemente similares a los datos del mundo real, debe optar por la validación cruzada. El posible problema es que cuando sus datos son pequeños, al dividirlos, terminan con pequeños conjuntos de entrenamiento y pruebas. Menos datos para el entrenamiento son malos, y menos datos para el conjunto de pruebas hacen que los resultados de la validación cruzada sean más inciertos (ver Varoquaux, 2018 ). Si su muestra de prueba es insuficiente, puede verse obligado a usar AIC, pero teniendo en cuenta lo que mide y qué suposiciones puede hacer.

Por otro lado, como ya se mencionó en los comentarios, AIC le brinda garantías asintomáticas, y no es el caso con muestras pequeñas. Las muestras pequeñas también pueden ser engañosas sobre la incertidumbre en los datos.

Hm: si su objetivo final es predecir, ¿por qué piensa hacer la selección del modelo? Hasta donde yo sé, está bien establecido tanto en la literatura estadística "tradicional" como en la literatura de aprendizaje automático que el promedio de modelos es superior cuando se trata de predicción. En pocas palabras, el promedio del modelo significa que usted estima todos los modelos plausibles, les permite predecir y promediar sus predicciones ponderadas por la evidencia relativa de su modelo.

Una referencia útil para comenzar es https://journals.sagepub.com/doi/10.1177/0049124104268644

Explican esto de manera bastante simple y hacen referencia a la literatura relevante.

Espero que esto ayude.

Mi idea es hacer ambas cosas y ver. Es directo usar AIC. Cuanto más pequeño sea el AIC, mejor será el modelo. Pero uno no puede depender de AIC y decir que ese modelo es el mejor. Entonces, si tiene un grupo de modelos ARIMA, tome cada uno y verifique el pronóstico para los valores existentes y vea qué modelo predice el más cercano a los datos de series de tiempo existentes. En segundo lugar, verifique también el AIC y, considerando ambos, elija una buena opción. No hay reglas duras y rápidas. Simplemente elija el modelo que predice lo mejor.