Lógica detrás de la prueba ANOVA F en regresión lineal simple

Estoy tratando de entender la lógica detrás de la prueba ANOVA F en el análisis de regresión lineal simple. La pregunta que tengo es la siguiente. Cuando el valor F, MSR/MSEes decir, es grande, aceptamos el modelo como significativo. ¿Cuál es la lógica detrás de esto?

En el caso más simple, cuando tiene un solo predictor (regresión simple), digamos , la prueba le dice si incluir explica una mayor parte de la varianza observada en en comparación con el modelo nulo (solo intercepción). La idea es entonces probar si la varianza explicada agregada (varianza total, TSS, menos la varianza residual, RSS) es lo suficientemente grande como para ser considerada como una "cantidad significativa". Aquí estamos comparando un modelo con un predictor, o variable explicativa, con una línea de base que es solo "ruido" (nada excepto la gran media).$X_1$$F$$X_1$$Y$

Del mismo modo, puede calcular una estadística en una configuración de regresión múltiple: en este caso, equivale a una prueba de todos los predictores incluidos en el modelo, lo que en el marco HT significa que nos preguntamos si alguno de ellos es útil para predecir la respuesta variable. Esta es la razón por la que puede encontrar situaciones en las que la prueba para todo el modelo es significativa, mientras que algunas de las pruebas o asociadas a cada coeficiente de regresión no lo son.$F$$F$$t$$z$

La estadística parece a$F$

donde es el número de parámetros del modelo el número de observaciones. Esta cantidad debe referirse a una distribución para un valor crítico o . También se aplica al modelo de regresión simple, y obviamente tiene cierta analogía con el marco ANOVA clásico.$p$$n$$F_{p-1,n-p}$$p$

Nota al margen. Cuando tiene más de un predictor, entonces puede preguntarse si considerar solo un subconjunto de esos predictores "reduce" la calidad del ajuste del modelo. Esto corresponde a una situación en la que consideramos modelos anidados . Esta es exactamente la misma situación que las anteriores, donde comparamos un modelo de regresión dado con un modelo nulo (no se incluyen predictores). Para evaluar la reducción en la varianza explicada, podemos comparar la suma residual de cuadrados (RSS) de ambos modelos (es decir, lo que queda sin explicar una vez que se tiene en cuenta el efecto de los predictores presentes en el modelo). Deje que y denoten el modelo base (con$\mathcal{M}_0$$\mathcal{M}_1$$p$parámetros) y un modelo con un predictor adicional ( parámetros), entonces si es pequeño, consideraríamos que el modelo más pequeño funciona tan bien como el más grande. Una buena estadística para usar sería la relación de tales SS, , ponderado por sus grados de libertad ( para el numerador y para el denominador). Como ya se dijo, se puede demostrar que esta cantidad sigue una distribución (o Fisher-Snedecor) con grados de libertad y . Si la observada$q=p+1$$\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0}$$(\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0})/\text{RSS}_{\mathcal{M}_0}$$p-q$$n-p$$F$$p-q$$n-p$$F$es mayor que el cuantil correspondiente en un dado (típicamente, ), entonces concluiríamos que el modelo más grande hace un "mejor trabajo". (¡Esto de ninguna manera implica que el modelo sea correcto, desde un punto de vista práctico!)$F$$\alpha$$\alpha=0.05$

Una generalización de la idea anterior es la prueba de razón de probabilidad .

Si está utilizando R, puede jugar con los conceptos anteriores como este:

df <- transform(X <- as.data.frame(replicate(2, rnorm(100))), 
                                   y = V1+V2+rnorm(100))
## simple regression
anova(lm(y ~ V1, df))         # "ANOVA view"
summary(lm(y ~ V1, df))       # "Regression view"
## multiple regression
summary(lm0 <- lm(y ~ ., df))
lm1 <- update(lm0, . ~ . -V2) # reduced model
anova(lm1, lm0)               # test of V2