¿Cómo comparar modelos sobre la base de AIC?

Tenemos dos modelos que usan el mismo método para calcular la probabilidad de registro y el AIC para uno es más bajo que el otro. Sin embargo, el que tiene el AIC más bajo es mucho más difícil de interpretar.

Tenemos problemas para decidir si vale la pena introducir la dificultad y juzgamos esto usando una diferencia porcentual en AIC. Descubrimos que la diferencia entre los dos AIC era solo del 0,7%, y el modelo más complicado tenía un AIC un 0,7% más bajo.

1. ¿Es la baja diferencia porcentual entre los dos una buena razón para evitar usar el modelo con el AIC más bajo?

2. ¿El porcentaje de diferencia explica que se pierde un 0,7% más de información en el modelo menos complicado?

3. ¿Pueden los dos modelos tener resultados muy diferentes?

Uno no compara los valores absolutos de dos AIC (que pueden ser como pero también ), pero considera su diferencia : donde es el AIC de -th model, y es el AIC más bajo que se obtiene entre el conjunto de modelos examinados (es decir, el modelo preferido). La regla general, descrita, por ejemplo, en Burnham y Anderson 2004 , es:$\sim 100$$\sim 1000000$

1. si , entonces hay un apoyo sustancial para el -ésimo modelo (o la evidencia en su contra solo vale una mención), y la proposición de que es una descripción adecuada es altamente probable;$\Delta_i<2$$i$
2. si , entonces hay un fuerte apoyo para el modelo ;$2<\Delta_i<4$$i$
3. si , entonces hay considerablemente menos soporte para el -ésimo modelo;$4<\Delta_i<7$$i$
4. los modelos con tienen esencialmente soporte.$\Delta_i>10$

Ahora, con respecto al 0.7% mencionado en la pregunta, considere dos situaciones:

1. $AIC_1=AIC_{\rm min}=100$$AIC_2$$AIC_2=100.7$$\Delta_2=0.7<2$
2. $AIC_1=AIC_{\rm min}=100000$$AIC_2$$AIC_2=100700$$\Delta_2=700\gg 10$

Por lo tanto, decir que la diferencia entre AIC es 0.7% no proporciona ninguna información.

$\mathcal{L}$$\Delta_i$$\Delta_i = AIC_i − AIC_{\rm min}$$AIC_{\rm min} := 0$

La formulación de AIC penaliza el uso de un número excesivo de parámetros, por lo tanto, desalienta el sobreajuste. Prefiere modelos con menos parámetros, siempre que los otros no proporcionen un ajuste sustancialmente mejor. AIC intenta seleccionar un modelo (entre los examinados) que describa más adecuadamente la realidad (en la forma de los datos bajo examen). Esto significa que, de hecho, el modelo como una descripción real de los datos nunca se considera. Tenga en cuenta que AIC le proporciona la información sobre qué modelo describe mejor los datos, no ofrece ninguna interpretación .

$\Delta_i$$\Delta_i<2$$\Delta_i<5$

$i$

$AIC_{\rm min}$$i$$\Delta_i=1.5$$p_i=0.47$$\Delta_i=15$$p_i=0.0005$$i$$AIC_{\rm min}$

Finalmente, con respecto a la fórmula para AIC:

$\mathcal{L}$$\Delta_i$$2k$$\frac{\Delta_i}{2\Delta k} < 1$

TL; DR

1. Es una mala razón; use la diferencia entre los valores absolutos de los AIC.
2. El porcentaje no dice nada.
3. No es posible responder a esta pregunta debido a que no hay información sobre los modelos, los datos y qué significan los diferentes resultados .