Diferentes definiciones de AIC

12

De Wikipedia hay una definición del Criterio de información de Akaike (AIC) como , donde es el número de parámetros y es la probabilidad de registro del modelo. $AIC = 2k -2 \log L$ $k$ $\log L$

Sin embargo, nuestros notas Econometría en un estado universidad muy respetada que . Aquíes la varianza estimada de los errores en un modelo ARMA yes el número de observaciones en el conjunto de datos de series de tiempo. $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ $\hat{\sigma}^2$ $T$

¿Es la última definición equivalente a la primera, pero simplemente ajustada para los modelos ARMA? ¿O hay algún tipo de conflicto entre las dos definiciones?

— pir
fuente

3

Para el registro: criterio singular, criterio plural. (Editado en consecuencia.)

— Nick Cox

15

La fórmula que cita de sus notas no es exactamente AIC.

AIC es . $-2\log\mathcal{L}+2k$

Aquí daré un resumen de una derivación aproximada que deja en claro lo que está sucediendo.

Si tiene un modelo con errores normales independientes con varianza constante,

L \propto σ^{- n} e^{- \frac{1}{2 σ^{2}} \sum ε_{i}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

que puede estimarse con la máxima probabilidad como

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

(suponiendo que la estimación de es la estimación de ML) $\sigma^2$

$-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

$T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

por lo tanto

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

$T$

Sin embargo, si está utilizando AIC para algún otro propósito que se base en el valor real de las diferencias en AIC (como hacer inferencia multimodelo como lo describen Burnham y Anderson), entonces es importante.

Numerosos textos econométricos parecen utilizar este formulario AIC / T. Curiosamente, algunos libros parecen hacer referencia a Hurvich y Tsai 1989 o Findley 1985 para esa forma, pero Hurvich & Tsai y Findley parecen estar discutiendo la forma original (aunque solo tengo una indicación indirecta de lo que Findley hace en este momento, así que tal vez haya algo en Findley sobre eso).

$\sigma^2$

Es posible que desee ver la lista de hechos y falacias de Rob Hyndman de la AIC , en particular los puntos 3 a 7. Algunos de esos puntos pueden llevarlo a ser al menos un poco cauteloso al confiar demasiado en la aproximación por la probabilidad gaussiana, pero tal vez hay una mejor justificación de la que ofrezco aquí.

No estoy seguro de que haya una buena razón para usar esta aproximación a la probabilidad de registro en lugar del AIC real, ya que muchos paquetes de series temporales en estos días tienden a calcular (/ maximizar) la probabilidad de registro real para los modelos ARMA. Parece que hay pocas razones para no usarlo.

— Glen_b -Reinstate a Monica
fuente

1

Tarde o temprano, cada discusión sobre cualquier * IC se convierte en "Este es el criterio que debe usar, excepto que a menudo da una respuesta incorrecta en tal o cual circunstancia". Simplemente siendo irónico, nada crítico con una respuesta típicamente útil. Esto es igual que en la vida real, donde alguna máxima genérica como "amar a todos" suele ser anulada temporalmente por otro consejo si alguien está tratando de golpearte o estafarte.

— Nick Cox

1

n

$n$

2

Creo que esto se basa en la suposición de errores normales. En econometría, usted opera utilizando asintóticos, especialmente en las aplicaciones de series de tiempo que usan AIC. Como consecuencia, el supuesto normal debería mantenerse asintóticamente para justificar este esquema de selección de modelo (asintótico).

$ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

$L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$

$AIC = 2k + Tln(\sigma^2) + 1$ $1$ $T$ $T$ $AIC$ $AIC/T$

— Jeremias K
fuente