Estoy usando el AIC (Criterio de información de Akaike) para comparar modelos no lineales en R. ¿Es válido comparar los AIC de diferentes tipos de modelos? Específicamente, estoy comparando un modelo ajustado por glm versus un modelo con un término de efecto aleatorio ajustado por glmer (lme4).
Si no, ¿hay alguna manera de que se pueda hacer tal comparación? ¿O es la idea completamente inválida?
Respuestas:
Depende. AIC es una función de la probabilidad de registro. Si ambos tipos de modelo calculan la probabilidad de registro de la misma manera (es decir, incluyen la misma constante), entonces sí puede, si los modelos están anidados .
Estoy razonablemente seguro de eso glm()y lmer()no utilizo probabilidades de registro comparables.
El punto sobre los modelos anidados también está en discusión. Algunos dicen que AIC solo es válido para modelos anidados, ya que así es como se presenta / trabaja la teoría. Otros lo usan para todo tipo de comparaciones.
Esta es una gran pregunta que he tenido curiosidad por un tiempo.
Para modelos de la misma familia (es decir, modelos autorregresivos de orden k o polinomios) AIC / BIC tiene mucho sentido. En otros casos está menos claro. Calcular la probabilidad de registro exactamente (con los términos constantes) debería funcionar, pero usar una comparación de modelos más complicada, como Factores de Bayes, probablemente sea mejor (http://www.jstor.org/stable/2291091).
Si los modelos tienen la misma función de pérdida / error, una alternativa es simplemente comparar las probabilidades de registro con validación cruzada. Por lo general, eso es lo que intento hacer cuando no estoy seguro de que AIC / BIC tenga sentido en una situación determinada.
Tenga en cuenta que, en algunos casos, AIC ni siquiera puede comparar modelos del mismo tipo, como los modelos ARIMA con un orden de diferencia diferente. Citando Pronósticos: Principios y práctica por Rob J Hyndman y George Athanasopoulos:
Es importante señalar que estos criterios de información no tienden a ser buenos guías para seleccionar el orden apropiado de diferenciación ( ) de un modelo, pero sólo para la selección de los valores de y . Esto se debe a que la diferenciación cambia los datos en los que se calcula la probabilidad, lo que hace que los valores de AIC entre modelos con diferentes órdenes de diferenciación no sean comparables. Así que tenemos que utilizar algún otro método para elegir , y luego podemos usar la AICC para seleccionar y .