¿Por qué se utiliza el criterio de información (

9

En modelos de series de tiempo, como ARMA-GARCH, para seleccionar el retraso u orden apropiado del modelo, se utilizan diferentes criterios de información, como AIC, BIC, SIC, etc.

Mi pregunta es muy simple, ¿por qué no usamos ajustado para elegir el modelo apropiado? Podemos seleccionar un modelo que conduzca a un mayor valor de ajustado . Debido a que tanto el ajustado como el criterio de información penalizan el número adicional de regresores en el modelo, donde primero penalizan a y luego penalizan el valor de probabilidad. $R^2$ $R^2$ $R^2$ $R^2$

— Neeraj
fuente

Es posible que me falte algo en las respuestas (a continuación), pero los cuadrados R y los cuadrados R ajustados son apropiados para la clase relativamente limitada de modelos estimados MCO, mientras que los AIC, BIC, etc., son apropiados para la clase más amplia de lineal generalizado modelos estimados, quizás, con ML o una variante.

— Mike Hunter

12

Yo diría que al menos cuando se discuten modelos lineales (como los modelos AR), ajustado $R^2$ y AIC no son tan diferentes.

Considere la cuestión de si debe incluirse en Esto es equivalente a comparar los modelos $X_2$

y = \underset{(norte \times K_{1})}{X_{1}} β_{1} + \underset{(norte \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

donde

. Decimos que

es elmodelo verdaderosi

. Observe que

. Los modelos están asíanidados. Una selección de modelo procedimiento

\begin{array}{rcl} {METRO}_{1} & : & y = X_{1} β_{1} + tu \\ {METRO}_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + tu, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$ es una regla dependiente de datos que selecciona el más plausible de varios modelos.

Decimos es coherente si $\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{norte \to \infty} PAG (\hat{METRO} = {METRO}_{1} El | {METRO}_{1}) & = & 1 \\ lim_{norte \to \infty} PAG (\hat{METRO} = {METRO}_{2} El | {METRO}_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

Considerar ajustado . Es decir, elija si . Como $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} Iniciar sesión (s^{2}) & = & Iniciar sesión ({\hat{σ}}^{2} \frac{norte}{norte - K}) \\ = & Iniciar sesión ({\hat{σ}}^{2}) + Iniciar sesión (1 + \frac{K}{norte - K}) \\ \approx & Iniciar sesión ({\hat{σ}}^{2}) + \frac{K}{norte - K} \\ \approx & Iniciar sesión ({\hat{σ}}^{2}) + \frac{K}{norte}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

lim_{norte \to \infty} PAG ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} El | {METRO}_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

\begin{array}{rcl} PAG ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} El | {METRO}_{1}) & \approx & PAG (Iniciar sesión (s_{1}^{2}) < Iniciar sesión (s_{2}^{2}) El | {METRO}_{1}) \\ = & PAG (norte Iniciar sesión (s_{1}^{2}) < norte Iniciar sesión (s_{2}^{2}) El | {METRO}_{1}) \\ \approx & PAG (norte Iniciar sesión ({\hat{σ}}_{1}^{2}) + K_{1} < norte Iniciar sesión ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} El | {METRO}_{1}) \\ = & PAG (norte [Iniciar sesión ({\hat{σ}}_{1}^{2}) - Iniciar sesión ({\hat{σ}}_{2}^{2})] < K_{2} El | {METRO}_{1}) \\ \to & PAG (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

UNA yo C = Iniciar sesión ({\hat{σ}}^{2}) + 2 \frac{K}{norte}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

$AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

$R^2$

— Christoph Hanck
fuente

1

Gran respuesta: ¡no demasiado pesado pero aún así exacto! Si hubiera estado allí ayer, no habría publicado el mío.

— Richard Hardy

R_{a d j}^{2}

$R^2_{adj}$

No me atrevería a decirlo. Como explicas, ni siquiera está claro qué significa R2 para el ajuste de dicho modelo.

— Christoph Hanck

5

$R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$ No es un selector de modelo óptimo.

$R^2_{adj}$ $R^2_{adj}$

— Richard Hardy
fuente

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

¿Esto realmente aborda la publicación original o mi respuesta? En cualquier caso, estoy de acuerdo con sus puntos.

— Richard Hardy

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— Zachary Blumenfeld