¿Cómo justificar el término de error en ANOVA factorial?

13

Una pregunta probablemente muy básica sobre ANOVA multifactorial. Supongamos un diseño bidireccional donde probamos los efectos principales A, B y la interacción A: B. Cuando se prueba el efecto principal para A con SS tipo I, el efecto SS se calcula como la diferencia $RSS(1) - RSS(A)$ , donde es la suma de cuadrados de error residual para el modelo con solo la intersección y RSS para el modelo con factor A agregado. Mi pregunta se refiere a la elección del término de error: $RSS(1)$ $RSS(A)$

¿Cómo justifica que el término de error para esta prueba se calcula típicamente a partir del RSS del modelo completo A + B + A: B que incluye tanto los efectos principales como la interacción?

F_{UN} = \frac{(R S S_{1} - R S S_{UN}) / / (re F_{R S S 1} - re F_{R S S UN})}{R S S_{UN + si + UN : si} / / re F_{R S S UN + si + UN : si}}

$F_{A} = \frac{(RSS_{1} - RSS_{A}) / (df_{RSS 1} - df_{RSS A})}{RSS_{A+B+A:B} / df_{RSS A+B+A:B}}$

... en lugar de tomar el término de error del modelo no restringido de la comparación real (RSS del efecto principal A en el caso anterior):

F_{UN} = \frac{(R S S_{1} - R S S_{UN}) / / (re F_{R S S 1} - re F_{R S S UN})}{R S S_{UN} / / re F_{R S S UN}}

$F_{A} = \frac{(RSS_{1} - RSS_{A}) / (df_{RSS 1} - df_{RSS A})}{RSS_{A} / df_{RSS A}}$

Esto hace la diferencia, ya que el término de error del modelo completo es a menudo (no siempre) más pequeño que el término de error del modelo no restringido en la comparación. Parece que la elección del término de error es algo arbitraria, creando espacio para los cambios deseados del valor p simplemente agregando / eliminando factores que no son realmente interesantes, pero cambie el término del error de todos modos.

En el siguiente ejemplo, el valor F para A cambia considerablemente dependiendo de la elección del modelo completo, a pesar de que la comparación real para el efecto SS permanece igual.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

La misma pregunta se aplica al SS de tipo II y, en general, a una hipótesis lineal general, es decir, a una comparación de modelo entre un modelo restringido y uno no restringido dentro de un modelo completo. (Para el tipo III SS, el modelo sin restricciones siempre es el modelo completo, por lo que la pregunta no surge allí)

anova linear-model

— lince
fuente

Puede que me confundan con su pregunta, pero para probar el efecto de con el Tipo 1 SS, el denominador es el que tiene en su segunda expresión. El valor F en la salida de la ejecución se calcula a través de su segunda expresión. Es decir, si ejecutó y conectó los valores correspondientes en su segunda expresión, obtendrá . Avísame si me estoy perdiendo por completo tu preocupación.

A

$A$ anova(lm(DV ~ IV1))anova(lm(DV ~ 1))anova(lm(DV ~ IV1))

F = 0.9342

$F=0.9342$

@MikeWierzbicki Tienes razón en que si el modelo completo contiene solo IV1(1er ejemplo), entonces las dos expresiones para el denominador son idénticas. Sin embargo, cuando el modelo completo contiene efectos adicionales, el denominador para la prueba

cambia aunque la comparación del modelo ( vs. para el tipo 1 SS) no lo hace. En los 3 ejemplos, el cuadrado medio para

no cambia (la misma comparación de modelos en todos los casos), pero el error cuadrado medio sí. Estoy interesado en lo que justifica el cambio del término de error cuando la comparación real sigue siendo la misma.

A

$A$ ~ 1~ IV1 + 1

A

$A$

— Caracal

¡Hola @caracal, me alegra ver que una respuesta tan vieja de repente fue aceptada! :-) Salud.

— ameba dice Reinstate Monica

4

Esta es una pregunta muy antigua, y creo que la respuesta de @gung es muy buena (+1). Pero como no fue del todo convincente para @caracal, y como tampoco sigo completamente todas sus complejidades, me gustaría proporcionar una figura simple que ilustre cómo entiendo el problema.

Considere un ANOVA de dos vías (el factor A tiene tres niveles, el factor B tiene dos niveles) con ambos factores que son obviamente muy significativos:

Sumas factoriales ANOVA de cuadrados

Las SS para el factor A son enormes. El SS para el factor B es mucho más pequeño, pero de la figura superior está claro que el factor B, sin embargo, también es muy significativo.

El error SS para el modelo que contiene ambos factores está representado por uno de los seis gaussianos, y al comparar SS para el factor B con este error SS, la prueba concluirá que el factor B es significativo.

¡El error SS para el modelo que contiene solo el factor B, sin embargo, es masivo! La comparación de SS para el factor B con este error masivo SS definitivamente dará como resultado que B no parezca significativo. Lo cual claramente no es el caso.

Es por eso que tiene sentido usar el error SS del modelo completo.

— ameba dice reinstalar Monica
fuente

2

Actualización: para aclarar algunos de los puntos que hago al pasar aquí, he agregado algunos enlaces a lugares donde discuto las ideas relevantes más a fondo.

$RSS_{A}$ $SS_{A}$ $MS_{A}$ $MS_{A+B+A*B}$

$RSS_{full}$ $MS_{A+B+A*B} > MS_{A+B}$ $SS_{A*B} = 14.19$ $df_{R}$ . Sin embargo, eliminar factores del modelo que no son significativos para obtener el término de error correcto es lógicamente equivalente a un procedimiento de búsqueda de modelo automático, incluso si no tiene su software, lo hace automáticamente por usted. Debe saber que hay muchos problemas al hacer esto. Esos problemas y procedimientos alternativos se discuten en otra parte en el CV ³ .

Un tema final se refiere a los diferentes tipos de SS. En primer lugar, el uso de diferentes tipos de SS no evita que necesite una justificación lógica de su análisis. Pero además, el tipo I - III SS está relacionado con un problema diferente. En su ejemplo, deduzco que sus factores son ortogonales, es decir, realizó un experimento en el que asignó igual n a cada combinación de niveles de factores. Sin embargo, si realiza un estudio observacional o si tiene problemas de abandono, sus factores estarán correlacionados. Las implicaciones de esto es que no hay una forma única de particionar el SS y, por lo tanto, no hay una respuesta única para sus análisis. En otras palabras, los diversos tipos de SS tienen que ver con diferentes numeradores posibles para su prueba F cuando sus factores están correlacionados ⁴ .

_{1. Tenga en cuenta que con los modelos multinivel, se puede teorizar un factor para incluir la variabilidad de otros factores, dependiendo de cómo se especifique el modelo. Estoy discutiendo ANOVA ordinario aquí, que es sobre lo que parece estar preguntando.

2. Ver: ¿Cómo puede agregar un segundo IV hacer que el primer IV sea significativo?

3. Ver: Algoritmos para la selección automática del modelo .

4. Ver: ¿Cómo interpretar ANOVA y MANOVA tipo I (secuencial)?}

— gung - Restablece a Monica
fuente

1

B

$B$

A : B

$A:B$

1

+1 y acabo de publicar una respuesta intentando proporcionar una ilustración a su primer gran párrafo.

— ameba dice Reinstate Monica

0

La justificación es que el factor A está explicando un porcentaje mayor de la variación no explicada en el modelo A + B en comparación con el modelo A, ya que el factor B explica una porción significativa (y por lo tanto 'lo elimina' del análisis).

— CDX
fuente