Interpretación de números AIC y BIC

23

Estoy buscando ejemplos de cómo interpretar las estimaciones de AIC (criterio de información de Akaike) y BIC (criterio de información bayesiano).

¿Se puede interpretar la diferencia negativa entre BIC como las probabilidades posteriores de un modelo sobre el otro? ¿Cómo puedo poner esto en palabras? Por ejemplo, el BIC = -2 puede implicar que las probabilidades del mejor modelo sobre el otro modelo son aproximadamente ? $e^2= 7.4$

Cualquier consejo básico es apreciado por este neófito.

interpretation aic bic

— Juan
fuente

Eche un vistazo al capítulo 2. La Sección 2.6, que está parcialmente disponible en los libros de Google, podría ayudarlo en particular. books.google.se/… (Ref: Selección de modelo e inferencia multimodelo por Kenneth P. Burnham y David R. Anderson. Springer Verlag)

— boscovich

6

para el modelo de unconjunto de modelos apriorise puede llamar a donde el mejor modelo del conjunto de modelos tendrá . Podemos usar losvalores de para estimar la fuerza de la evidencia ( ) para todos los modelos en el conjunto de modelos donde: $AIC$ $i$ $\mathsf{\Delta}_i=AIC_i-minAIC$ $\mathsf{\Delta}=0$ $\mathsf{\Delta}_i$ $w_i$ Esto es a menudo referido como el "peso de la evidencia" para el modelodado ela priorimodelo conjunto. A medida queaumenta,disminuye, lo que sugiere que el modeloes menos plausible. Estosvalorespueden interpretarse como la probabilidad de que el modelosea el mejor modelo dado elconjunto de modelos apriori. También podríamos calcular la probabilidad relativa del modeloversus el modelocomo

w_{i} = \frac{e^{(- 0.5 Δ_{i})}}{\sum_{r = 1}^{R} e^{(- 0.5 Δ_{i})}} .

$w_i = \frac{e^{(-0.5\mathsf{\Delta}_i)}}{\sum_{r=1}^Re^{(-0.5\mathsf{\Delta}_i)}}.$

i

$i$

Δ_{i}

$\mathsf{\Delta}_i$

w_{i}

$w_i$

i

$i$

w_{i}

$w_i$

i

$i$

i

$i$

j

$j$

. Por ejemplo, si

y

entonces podríamos decir modelo

es 8 veces más probable que el modelo

.

w_{i} / w_{j}

$w_i/w_j$

w_{i} = 0.8

$w_i = 0.8$

w_{j} = 0.1

$w_j = 0.1$

i

$i$

j

$j$

Tenga en cuenta que cuando el modelo 1 es el mejor modelo (el más pequeño ). Burnham y Anderson (2002) denominan esto como la razón de evidencia. Esta tabla muestra cómo cambia la relación de evidencia con respecto al mejor modelo. $w_1/w_2 = e^{0.5\Delta_2}$ $AIC$

Information Loss (Delta)    Evidence Ratio
0                           1.0
2                           2.7
4                           7.4
8                           54.6
10                          148.4
12                          403.4
15                          1808.0

Referencia

Burnham, KP y DR Anderson. 2002. Selección de modelos e inferencia multimodelo: un enfoque práctico teórico de la información. Segunda edicion. Springer, Nueva York, Estados Unidos.

Anderson, DR 2008. Inferencia basada en modelos en las ciencias de la vida: una introducción a la evidencia. Springer, Nueva York, Estados Unidos.

— RioRaider
fuente

r

$r$

R

$R$

Hay modelos R en el conjunto de modelos.

— RioRaider

3

No creo que haya una interpretación simple de AIC o BIC como esa. Ambas son cantidades que toman la probabilidad logarítmica y le aplican una penalización por la cantidad de parámetros que se estiman. Akaike explica las sanciones específicas para AIC en sus documentos a partir de 1974. BIC fue seleccionado por Gideon Schwarz en su artículo de 1978 y está motivado por un argumento bayesiano.

— Michael R. Chernick
fuente

2

Sin embargo, la penalización se puede interpretar como un modelo favorable anterior de un tamaño particular. Si adoptas eso antes (que tiene algunas justificaciones teóricas de la información), entonces puedes calcular un odds ratio posterior directamente a partir de los valores de IC. Además, @RioRaider menciona los pesos de Akaike, que le dan la probabilidad de que un modelo dado sea el mejor modelo del conjunto en términos de divergencia KL. ( ref. ver p. 800).

— David J. Harris el

1

Probablemente use el BIC como resultado de la aproximación al factor Bayes. Por lo tanto, no considera (más o menos) una distribución previa. BIC en una etapa de selección de modelo es útil cuando compara los modelos. Para comprender completamente BIC, el factor Bayes, recomiendo leer un artículo (sección 4): http://www.stat.washington.edu/raftery/Research/PDF/socmeth1995.pdf para complementar el conocimiento con: http: // www .stat.washington.edu / raftery / Research / PDF / kass1995.pdf

— Robert
fuente