Comparación de modelos entre un modelo ARIMA y un modelo de regresión

8

Realmente tengo problemas para descubrir cómo comparar ARIMA y los modelos de regresión. Entiendo cómo evaluar los modelos ARIMA entre sí y los diferentes tipos de modelos de regresión (es decir: regresión vs regresión dinámica con errores AR) entre sí, sin embargo, no puedo ver muchos puntos en común entre el modelo ARIMA y las métricas de evaluación del modelo de regresión.

Las dos únicas métricas que comparten son el SBC y el AIC. La salida de ARIMA no produce ni una figura MSE raíz ni una estadística r ^ 2. No estoy muy seguro de si la estimación de error estándar de un modelo ARIMA es directamente equivalente (o comparable) a cualquier cosa dentro de los resultados de regresión.

Si alguien pudiera señalarme en la dirección correcta, sería genial, ya que estoy realmente confundido aquí. Siento que estoy tratando de comparar manzanas con naranjas.

Por cierto, estoy usando SAS para realizar este análisis.

arima model-comparison dynamic-regression

— Brett
fuente

6

Si excluimos los modelos ARIMAX, que son ARIMA con regresores, los modelos ARIMA y de regresión son modelos con diferentes enfoques. ARIMA intenta modelar la variable solo con información sobre los valores pasados de la misma variable. Los modelos de regresión, por otro lado, modelan la variable con los valores de otras variables. Como estos enfoques son diferentes, es natural que los modelos no sean directamente comparables.

Por otro lado, dado que ambos modelos intentan modelar una variable, ambos producen los valores modelados de esta variable. Entonces, la cuestión de la comparación de modelos es idéntica a la comparación de valores modelados con valores verdaderos. Para obtener más información sobre cómo hacerlo, el séptimo capítulo de Elementos del aprendizaje estadístico de Hastie et al. Es una lectura esclarecedora.

Actualización: Tenga en cuenta que no recomiendo comparar solo en el ajuste de la muestra, solo que cuando los modelos son diferentes, la forma natural de comparar modelos es comparar sus resultados, sin tener en cuenta cómo se obtuvieron.

— mpiktas
fuente

1

"Por otro lado, dado que ambos modelos intentan modelar una variable, ambos producen los valores modelados de esta variable. Por lo tanto, la cuestión de la comparación del modelo es idéntica a la comparación de los valores modelados con los valores verdaderos". <--- Voy a comparar el MSE de los valores modelados en comparación con los valores verdaderos en una porción de datos fuera de la muestra. Parece lo mejor para mí hacer esto.

— Brett

1

Puede usar el MSE / AIC / BIC del modelo arima y compararlo con el MSE / AIC / BIC del modelo de regresión. Solo asegúrese de que el número de valores ajustados sea el mismo; de lo contrario, podría estar cometiendo un error. Por ejemplo, si el modelo ARIMA tiene una estructura de retraso de digamos sp + p (una diferencia estacional de orden sp y una estructura autorregresiva de orden p, pierde los primeros puntos de datos sp + p y solo los valores NOB-SP-P se ajustan realmente. Si el modelo de regresión no tiene retrasos, entonces tiene puntos NOB ajustados o menos dependiendo de su especificación de los valores rezagados para las entradas. Por lo tanto, uno tiene que darse cuenta de que los MSE pueden no estar en los mismos valores reales históricos. Un enfoque sería calcule el MSE del modelo de regresión en los últimos valores NOB-SP-P para poner los modelos en igualdad de condiciones. Es posible que desee GOOGLE " En el cierre, uno nunca encajaría normalmente en un modelo de regresión con series de tiempo, ya que puede ser información en los retrasos de las causas y los retrasos de la variable dependiente que justifica el STEP-UP de la regresión a un modelo de función de transferencia, también conocido como modelo ARMAX. Si no hiciste STEP-UP, uno o más de los supuestos gauusianos quedarían anulados, lo que haría que tus pruebas de F / T carecieran de sentido y fueran irreverentes. Además, puede haber violaciones de la constancia del término de error que requiere la incorporación de cambios de nivel / tendencias de tiempo local y pulso o variable de pulso estacional para hacer que el proceso de error tenga una "media de 0.0 en todas partes" En el cierre, uno nunca encajaría normalmente en un modelo de regresión con series de tiempo, ya que puede ser información en los retrasos de las causas y los retrasos de la variable dependiente que justifica el STEP-UP de la regresión a un modelo de función de transferencia, también conocido como modelo ARMAX. Si no hiciste STEP-UP, uno o más de los supuestos gauusianos quedarían anulados, lo que haría que tus pruebas de F / T carecieran de sentido y fueran irreverentes. Además, puede haber violaciones de la constancia del término de error que requiere la incorporación de cambios de nivel / tendencias de tiempo local y pulso o variable de pulso estacional para hacer que el proceso de error tenga una "media de 0.0 en todas partes" t STEP-UP entonces uno o más de los Supuestos Gauusianos se anularían haciendo que sus pruebas de F / T carezcan de sentido y sean irreverentes. Además, puede haber violaciones de la constancia del término de error que requiere la incorporación de cambios de nivel / tendencias de tiempo local y pulso o variable de pulso estacional para hacer que el proceso de error tenga una "media de 0.0 en todas partes" t STEP-UP entonces uno o más de los Supuestos Gauusianos se anularían haciendo que sus pruebas de F / T carezcan de sentido y sean irreverentes. Además, puede haber violaciones de la constancia del término de error que requiere la incorporación de cambios de nivel / tendencias de tiempo local y pulso o variable de pulso estacional para hacer que el proceso de error tenga una "media de 0.0 en todas partes"

— IrishStat
fuente

3

Los valores de AIC informados también pueden no ser comparables porque se omiten diferentes constantes.

— Rob Hyndman

1

La validación cruzada probablemente sería buena aquí. Para hacer esto, divide su conjunto de datos en 2 partes. Utiliza la primera parte para ajustar ambos modelos y luego usa el modelo ajustado para predecir la segunda parte. Esto puede justificarse como una aproximación a un enfoque totalmente bayesiano para la selección de modelos. Tenemos la probabilidad de un modelo $M_{i}$

p (d_{1} d_{2} . . . d_{N} | M_{i} I) = p (d_{1} | M_{i} I) \times p (d_{2} | d_{1} M_{i} I) \times p (d_{3} | d_{1} d_{2} M_{i} I) \times . .

$p(d_{1}d_{2}...d_{N}|M_{i}I)=p(d_{1}|M_{i}I)\times p(d_{2}|d_{1}M_{i}I)\times p(d_{3}|d_{1}d_{2}M_{i}I)\times..$

. . \times p (d_{N} | d_{1} d_{2} . . . d_{N - 1} M_{i} I)

$..\times p(d_{N}|d_{1}d_{2}...d_{N-1}M_{i}I)$

Que puede verse heurísticamente como una secuencia de predicciones, y luego de aprender de los errores. Usted predice el primer punto de datos sin entrenamiento. Luego predice el segundo punto de datos después de conocer el modelo con el primero. Luego predice el tercer punto de datos después de usar los dos primeros para aprender sobre el modelo, y así sucesivamente. Ahora, si tiene un conjunto de datos suficientemente grande, entonces los parámetros del modelo estarán bien determinados más allá de una cierta cantidad de datos, y tendremos, por algún valor $k$ :

p (d_{k + 2} | d_{1} . . . . d_{k} d_{k + 1} M_{i} I) \approx p (d_{k + 2} | d_{1} . . . . d_{k} M_{i} I)

$p(d_{k+2}|d_{1}....d_{k}d_{k+1}M_{i}I)\approx p(d_{k+2}|d_{1}....d_{k}M_{i}I)$

El modelo no puede "aprender" más acerca de los parámetros, y básicamente solo predice según el primer $k$ observaciones Entonces elegiría $k$ (el tamaño del primer grupo) para ser lo suficientemente grande como para que pueda ajustarse con precisión al modelo, $20$ - $30$ Los puntos de datos por parámetro son probablemente suficientes. También quieres elegir $k$ lo suficientemente grande como para que la dependencia en el $d_{k+1}...d_{N}$ lo que se ignora no hace que la aproximación sea inútil.

Luego, simplemente evaluaría las probabilidades de cada predicción y tomaría su razón, interpretada como una razón de probabilidad. Si la relación es aproximadamente $1$ , entonces ninguno de los dos modelos es particularmente mejor que el otro. Si está lejos de $1$ entonces esto indica que uno de los modelos está superando al otro. una relación de menos de 5 es débil, 10 es fuerte, 20 muy fuerte y 100, decisiva (correspondiente recíproco para números pequeños).

— probabilidadislogica
fuente