ANOVA de medidas repetidas versus ANOVA factorial con factor de sujeto: comprensión de "estratos de error" y término Error () en aov

Considere medidas repetidas ANOVA (RM-ANOVA) con un factor dentro del sujeto Ay varias mediciones por sujeto para cada nivel de A.

Está estrechamente relacionado con ANOVA de dos vías con dos factores: Ay subject. Utilizan la descomposición idéntica de la suma de los cuadrados en cuatro partes: A, subject, A⋅subject, y residual. Sin embargo, ANOVA bidireccional prueba el efecto de A comparando SS de A con el SS residual, mientras que RM-ANOVA prueba el efecto de A comparando SS de A con A$\cdot$tema de interacción SS.

¿Por qué la diferencia?

1. ¿Esta diferencia se deduce automáticamente de la estructura de medidas repetidas de los datos, o es una convención?
2. ¿Esta diferencia entre ANOVA de dos vías y RM-ANOVA corresponde a probar dos valores nulos diferentes? Si es así, ¿qué son exactamente y por qué usaríamos nulos diferentes en estos dos casos?
3. La prueba de ANOVA de dos vías se puede entender como una prueba F entre dos modelos anidados: el modelo completo y el modelo sin A. ¿Se puede entender RM-ANOVA de manera similar?

(Si solo hay una medición por sujeto para cada nivel de A, entonces la distinción desaparece porque el sujeto A y la variación residual no se pueden desenredar: ¿Las medidas repetidas unidireccionales ANOVA son equivalentes a un ANOVA bidireccional? )$\cdot$

---

Demostración

Usaré datos de juguetes d2generados en http://dwoll.de/rexrepos/posts/anovaMixed.html . La misma página web muestra la sintaxis correcta para RM-ANOVA.

# Discarding between-subject factors and leaving only one within-subject factor
d = d2[d2$Xb1=='CG' & d2$Xb2 == 'f', c(1,4,6)]

(Vea la versión reproducible aquí en pastebin .) Los datos se ven así:

     id Xw1     Y
1    s1   A  28.6
2    s1   A  96.6
3    s1   A  64.8
4    s1   B 107.5
5    s1   B  77.3
6    s1   B 120.9
7    s1   C 141.2
8    s1   C 124.1
9    s1   C  88.0
10   s2   A  86.7
...

Aquí hay ANOVA de dos vías: summary(aov(Y ~ Xw1*id, d))

             Df Sum Sq Mean Sq F value   Pr(>F)    
Xw1           2  95274   47637  16.789 3.73e-07 ***
id           19  31359    1650   0.582    0.913    
Xw1:id       38  71151    1872   0.660    0.929    
Residuals   120 340490    2837                 

Aquí está RM-ANOVA: summary(aov(Y ~ Xw1 + Error(id/Xw1), d))

Error: id
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 19  31359    1650               

Error: id:Xw1
          Df Sum Sq Mean Sq F value   Pr(>F)    
Xw1        2  95274   47637   25.44 9.73e-08 ***
Residuals 38  71151    1872                     

Error: Within
           Df Sum Sq Mean Sq F value Pr(>F)
Residuals 120 340490    2837            

Tenga en cuenta la descomposición SS idéntica, pero las pruebas ANOVA de dos vías Xw1contra el residual, mientras que las pruebas RM-ANOVA Xw1contra la Xw1:idinteracción.

¿Por qué?

Esta pregunta está relacionada con Cómo escribir el término de error en medidas repetidas ANOVA en R: Error (asunto) vs Error (asunto / tiempo) . Si intentamos usarlo en Error(id)lugar del Error(id/Xw1)ejemplo anterior, entonces Xw1se probará contra la Xw1:idinteracción agrupada junto con la variación residual.

(El mismo problema surge en RM-ANOVA factorial con múltiples factores dentro del sujeto, donde cada factor o interacción se prueba contra su propio "término de error", también conocido como "estrato de error". Estos estratos de error siempre están dados por la interacción correspondiente con el bloque / plot / sujeto variable id.)

... ANOVA bidireccional prueba el efecto de A comparando SS de A con el SS residual, mientras que RM-ANOVA prueba el efecto de A comparando SS de A con la interacción de sujeto A⋅S.

1) ¿Se deduce automáticamente esta diferencia de la estructura de medidas repetidas de los datos, o es una convención?

Se sigue de la estructura de medidas repetidas de los datos. El principio básico del análisis de varianza es que comparamos la variación entre los niveles de un tratamiento con la variación entre las unidades que recibieron ese tratamiento. Lo que hace que el caso de la medida repetida sea algo complicado es estimar esta segunda variación.

En este caso más simple, lo que nos interesa son las diferencias entre los niveles de A. Entonces, ¿en cuántas unidades hemos medido esa diferencia? Es el número de sujetos, no el número de observaciones. Es decir, cada sujeto nos brinda información adicional independiente sobre la diferencia, no cada observación. Agregar más medidas repetidas aumenta la precisión de nuestra información sobre cada tema, pero no nos da más temas.

Lo que hace el RM-Anova cuando usa la interacción A - sujeto como término de error es usar correctamente la variación en las diferencias entre niveles de A entre sujetos como la variación para probar el efecto del nivel A. El uso del error de observación utiliza la variación en las medidas repetidas en cada individuo, lo cual no es correcto.

Considere un caso en el que toma más y más datos de solo un par de personas. Si usa el error de nivel de observación, eventualmente alcanzará significación estadística, aunque solo tenga un par de individuos. Necesita más individuos, no más datos sobre ellos, para aumentar realmente el poder.

2) ¿Esta diferencia entre ANOVA bidireccional y RM-ANOVA corresponde a probar dos valores nulos diferentes? Si es así, ¿qué son exactamente y por qué usaríamos nulos diferentes en estos dos casos?

No, la misma hipótesis nula. Lo que es diferente es cómo estimamos el estadístico de prueba y su distribución nula.

3) La prueba de ANOVA bidireccional se puede entender como una prueba F entre dos modelos anidados: el modelo completo y el modelo sin A. ¿Se puede entender RM-ANOVA de manera similar?

Sí, pero tal vez no de la manera que esperabas. Como puede ver en la salida de aov, una forma de pensar sobre este tipo de modelos es que en realidad son varios modelos en uno, con un modelo para cada nivel.

Uno puede ajustar los modelos para niveles más altos individualmente promediando los datos sobre los niveles más bajos. Es decir, una prueba RM-Anova para A es equivalente a una Anova estándar en los datos promediados. Entonces uno puede comparar modelos de la manera habitual.

> library(plyr)
> d2 <- ddply(d, ~Xw1 + id, summarize, Y=mean(Y))
> a1 <- aov(Y ~ id, d2)
> a2 <- aov(Y ~ Xw1+id, d2)
> anova(a1, a2)
Analysis of Variance Table

Model 1: Y ~ id
Model 2: Y ~ Xw1 + id
  Res.Df   RSS Df Sum of Sq      F    Pr(>F)    
1     40 55475                                  
2     38 23717  2     31758 25.442 9.734e-08 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Alternativamente, uno puede ajustar el total aovcon todos los datos pero sin el término de interés, y luego comparar el ajuste con el completo aovcon el término de interés, pero luego, para comparar modelos, debe elegir el nivel del modelo que ha cambiado (aquí el id:Xw1nivel) y luego puedes comparar esos dos modelos.

> summary(aov(Y ~ 1 + Error(id/Xw1), d))

Error: id
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 19  31359    1650               

Error: id:Xw1
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 40 166426    4161               

Error: Within
           Df Sum Sq Mean Sq F value Pr(>F)
Residuals 120 340490    2837               
> (F <- ((166426 - 71151)/2) / (71151/38))
[1] 25.44202
> pf(F, 2, 38, lower=FALSE)
[1] 9.732778e-08

Esta nota depende de los resultados contenidos en los Modelos lineales de Moser: un enfoque de modelo medio . Citaré algunos resultados de este libro en lo que sigue. Cuando vi tu pregunta, comencé a leer el libro: esta nota es la forma en que mis pensamientos se organizaron después.

Dejar $y \sim \mathcal{N}_n(\mu, \Sigma)$ ser la respuesta, con $\mu$ que contiene los efectos fijos y $\Sigma$ que contiene los efectos aleatorios

Tomar $y^T A_i y$ser las sumas de cuadrados correspondientes a cada término (covariables e interacciones) en el modelo. Tenga en cuenta que estas sumas de cuadrados son invariables para determinar si los términos son fijos o aleatorios. Suponga que cada$A_i$ es simétrico e idempotente, lo cual será cierto en la mayoría de los modelos de interés.

Cuando sostiene que

$$I = \sum_i A_i,$$ lo que equivale a las sumas de cuadrados correspondientes a una descomposición en subespacios ortogonales ya que hemos asumido el $A_i$ son proyectores, y $$\Sigma = \sum_i c_i A_i,$$ por el teorema de Cochran (lema 3.4.1), $$\begin{equation} y^T A_i y \sim c_i \chi^2_{d_i} (\mu^T A_i \mu/c_i), \end{equation}$$ para $d_i = tr(A_i)$y $y^T A_j y$ es independiente de $y^T A_k y$ para $j \ne k$.

El termino

$$\tilde{F} = \frac{y^T A_j y / d_j}{y^T A_k y / d_k} \sim \frac{c_j \chi_{d_j}^2(\mu^T A_j \mu / c_j)/d_j}{c_k \chi_{d_k}^2(\mu^T A_k \mu / c_k)/d_k}$$ es de hecho un (central) $F$ estadística si y solo si $$\begin{align*} \frac{c_j}{c_k} & = 1 , \tag{1} \\ \mu^T A_j \mu & = 0 , \tag{2} \\ \mu^T A_k \mu & = 0 , \textrm{ and }\tag{3} \end{align*}$$ Cuando se satisfacen estas tres condiciones, podemos calcular $p$-valores correspondientes a la estadística $\tilde{F}$. Estos términos básicamente solo ayudan en la computabilidad ya que$c_i$dependen de los componentes de varianza y los parámetros de no centralidad dependen de la media $\mu$. La segunda condición asegura que$\tilde{F}$ tendrá (al menos) un no central $F$distribución. Bajo la segunda condición, la tercera condición da que$\tilde{F}$ tiene una central $F$ distribución.

Los cuadrados medios esperados ($\mathrm{EMS}$) correspondiente a la $i^\mathrm{th}$ suma de cuadrados $y^T A_i y$ es

$$\mathrm{EMS}_i := \frac{1}{tr(A_i)} \mathbb{E} [y^T A_i y] = \frac{tr(A_i \Sigma) + \mu^T A_i \mu}{tr(A_i)} = c_i + \frac{\mu^T A_i \mu}{tr(A_i)},$$ dónde $tr(A_i\Sigma) = c_i \, tr(A_i)$debido a cor 3.1.2. El radio $$\frac{\mathrm{EMS}_j}{\mathrm{EMS}_k} = \frac{c_j + \frac{\mu^T A_j \mu}{tr(A_j)}}{c_k + \frac{\mu^T A_k \mu}{tr(A_k)}} = 1$$ si las condiciones $(1)$, $(2)$y $(3)$sostener. Es por eso que las personas inspeccionan la proporción de$\mathrm{EMS}$ al determinar qué sumas de cuadrados dividir para formar un $F$ estadística para probar una hipótesis nula particular.

Usamos condiciones $(1), (2)$y $(3)$para especificar la hipótesis nula. En mi experiencia, cuando el término (correspondiente a$j$) que estamos interesados ​​en probar es aleatorio, hacemos que la hipótesis nula sea $c_j/c_k = 1$, y, cuando está arreglado, hacemos que la hipótesis nula sea $y^T A_j y = 0$. En particular, estos nos permiten elegir$k$ para que el resto de condiciones $(1), (2)$ y $(3)$estan satisfechos. Tal elección de$k$no siempre es posible, lo que lleva a dificultades parecidas a Behrens-Fisher .

Esto no explica nada particularmente relacionado con el problema en cuestión, pero eso solo equivale a la informática $\mu$ y $\Sigma$. Espero que esto se vea como una forma útil de pensar sobre el problema. Tenga en cuenta que el ejemplo 4.4.1 calcula cuáles son todas las cantidades anteriores en el ejemplo ANOVA de dos vías.

La diferencia se debe a la estructura del problema y no a la convención. Estos diferentes enfoques (dos vías versus medida repetida) cambian$\mu$ y $\Sigma$, que cambia el EMS, que cambia qué $k$ Elegimos construir la prueba.

---

Consideremos el modelo

$$\begin{equation} y_{ijk} = \mu_0 + \mathrm{id}_i + \mathrm{Xw1}_{j} + \mathrm{id * Xw1}_{ij} + \mathrm{R(id * Xw1)}_{k(ij)}, \end{equation}$$ dónde $i$ denota el nivel de $\mathrm{id}$, etc. Aquí $k$ denota cuál de las 3 réplicas se está considerando.

Ahora presentamos alguna notación vectorial útil: escribir $y = (y_{111}, y_{112}, y_{113}, y_{121}, \dots y_{20,3,3})$. Dado que estos datos están equilibrados, podemos hacernos una notación de producto kronecker . (Como comentario, me dijeron que Charlie Van Loan una vez llamó al producto kronecker "¡la operación de los años 2000!") Definir$\bar{J} \in \mathbb{R}^{m \times m}$ ser la matriz con todas las entradas iguales a $\frac{1}{m}$ y $C=I-\bar{J}$ser la matriz de centrado (La matriz de centrado se llama así porque, por ejemplo,$\|C x \|_2^2 = \sum_i (x_i - \bar{x})^2$ para un vector $x$.)

Con esta notación de producto kronecker debajo del cinturón, podemos encontrar las matrices $A_i$mencionado anteriormente. La suma de los cuadrados correspondientes a$\mu_0$ es

$$\begin{equation} SS(\mu_0) = n (\bar{y}_{\cdot\cdot\cdot})^2 = \|(\bar{J} \otimes \bar{J} \otimes \bar{J}) y\|_2^2 = y^T (\bar{J} \otimes \bar{J} \otimes \bar{J}) y, \end{equation}$$ donde el primer componente $\bar{J} \in \mathbb{R}^{20 \times 20}$, el segundo está en $\mathbb{R}^{3 \times 3}$y el tercero está en $\mathbb{R}^{3 \times 3}$. En términos generales, las matrices en esos componentes siempre serán de ese tamaño. Además, la suma de cuadrados debido a$\mathrm{id}$ es $$\begin{equation} SS(\mathrm{id}) = \sum_{ijk} (\bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot \cdot \cdot})^2 = \|(C \otimes \bar{J} \otimes \bar{J}) y\|_2^2 = y^T (C \otimes \bar{J} \otimes \bar{J}) y. \end{equation}$$ Darse cuenta de $SS(\mathrm{id})$ de hecho mide la variación entre niveles de $\mathrm{id}$. Del mismo modo, las otras matrices son$A_{Xw1} = \bar{J} \otimes C \otimes \bar{J}$, $A_{id * Xw1} = C \otimes C \otimes \bar{J}$y $A_{R()} = I \otimes I \otimes C$.

Se demuestra que esto es consistente con aov ejecutar código para dar, por ejemplo, la suma residual de cuadrados$SS(\mathrm{R(id * Xw1)}) = y^T A_{R()} y$:

mY <- c()
for(j in 1:(nrow(d)/3)) {
  mY <- c(mY, rep(mean(d$Y[3*(j-1)+(1:3)]), 3))
}
sum((d$Y - mY)^2) #this is the residual sum of squares

En este punto, tenemos que tomar algunas decisiones de modelado. En particular, tenemos que decidir si$\mathrm{id}$Es un efecto aleatorio. Supongamos primero que no es un efecto aleatorio, por lo que todos los efectos además de la replicación son fijos. Entonces

$$\begin{equation} \mathbb{E} [y_{ijk}] = \mu_{ij} = \mu_0 + \mathrm{id}_i + \mathrm{Xw1}_{jk} + \mathrm{id * Xw1}_{ij} \end{equation}$$ y $R(\mathrm{id * Xw1})_{k(ij)} \sim_{iid} \mathcal{N}(0, \sigma^2)$. Tenga en cuenta que no hay dependencia entre observaciones distintas. En notación vectorial, podemos escribir $$y \sim \mathcal{N} (\mu, \Sigma)$$ para $\mu = \mathbb{E} [y] = (\mu_{11}, \mu_{12}, \dots, \mu_{20,3}) \otimes \mathbf{1}_{3}$ y $\Sigma = \sigma^2 (I \otimes I \otimes I)$.

Notando que la suma de todos $5$ del $A$Lo definido anteriormente es la identidad, sabemos por el teorema de Cochran que, entre otras cosas,

$$SS(\mathrm{Xw1}) = y^T A_{Xw1} y \sim \sigma^2 \chi^2_{(19)(1)(1)} (\mu^T A_{Xw1} \mu / \sigma^2)$$ y $$SS(\mathrm{R(id * Xw1)}) = y^T A_{R()} y \sim \sigma^2 \chi^2_{(20)(3)(2)} (\mu^T A_{R()} \mu / \sigma^2)$$ y estas sumas de cuadrados son independientes.

Ahora, en línea con lo que discutimos anteriormente, queremos condiciones $(1), (2),$ y $(3)$sostener. Note esa condición$(1)$ se mantiene (porque no hay otros componentes de varianza para complicar las cosas). Lo que es realmente genial notar ahora es que $\mu^T A_{R()} \mu = 0$, ya que $\mu$ es constante a lo largo de este tercer "componente" que está siendo centrado por $A_{R()}$. Esto significa que$(3)$está detrás de nosotros Por lo tanto, solo tenemos que preocuparnos por la condición$(2)$: si lo asumimos (como una hipótesis nula) entonces estamos asumiendo que $0 = \mu^T A_{Xw1} \mu = \sum_{ijk} (\mu_{ij} - \bar{\mu}_{i \cdot})^2$, que es lo mismo que $\mu_{ij} = \bar{\mu}_{i \cdot}$ para todos $i,j$, que es lo mismo que $\mathrm{Xw1}_j = 0$ y $\mathrm{id * Xw1}_{ij} = 0$ para todos $i,j$ (ya que el nivel medio está en los otros términos).

En resumen, se puede ver que la hipótesis nula solo prueba si un parámetro de no centralidad es cero, lo que es equivalente a los efectos sobre la covariable como cero. El caso de medidas repetidas sigue una línea de razonamiento similar, donde en su lugar hacemos la elección de modelado que el$\mathrm{id}$El efecto es aleatorio. Allí, condición$(1)$ se convertirá en la hipótesis nula.

En relación con el Rcomando, como mencionas en los comentarios de la publicación original, este término de error solo especifica qué términos se deben considerar como efectos aleatorios. (Tenga en cuenta que todos los términos que se incluirán en el modelo deben ser simplemente ingresados ​​o ingresados ​​dentro del Error()término. Es por eso que hay una diferencia entre id/Xw1 = id + id:Xw1y idestar en el Errortérmino. Los términos no incluidos se agrupan con el error en el sentido de que$A_{R()} + A_{id * Xw1}$ se vuelve a etiquetar como $A_{R()}$.)

---

Aquí están los detalles explícitos relacionados con el caso de medidas repetidas donde los términos relacionados con $\mathrm{id}$ (que son $\mathrm{id}$ y $\mathrm{id * Xw1}$) son al azar. Veremos que este es el caso más interesante.

Allí tenemos la misma suma de matrices de cuadrados (ya que no dependen de si un factor es fijo o aleatorio). La matriz de covarianza que hay

$$\begin{align*} \Sigma & \stackrel{(a)}{=} \sigma^2_{id} (I \otimes J \otimes J) + \sigma^2_{id * Xw1} (I \otimes C \otimes J) + \sigma^2_{R()} (I \otimes I \otimes I) \\ & = \sigma^2_{id} (3)(3) (A_{\mu_0} + A_{id}) + \sigma^2_{id * Xw1} (3) (A_{Xw1} + A_{id * Xw1}) + \sigma^2_{R()} (A_{\mu_0} + A_{id} + A_{Xw1} + A_{id * Xw1} + A_{R()}) \\ & = ((3)(3)\sigma^2_{id} + \sigma^2_{R()})A_{\mu_0} + ((3)(3)\sigma^2_{id} + \sigma^2_{R()}) A_{id} + ((3)\sigma^2_{id * Xw1} + \sigma^2_{R()}) A_{Xw1} + ((3)\sigma^2_{id * Xw1} + \sigma^2_{R()}) A_{id * Xw1} + \sigma^2_{R()} A_{R()}, \end{align*}$$ dónde $J$Es la matriz de todos. El primer y último sumando en el lado derecho de la igualdad (a) ofrecen explicaciones intuitivas: el primer sumando muestra que hay una fuente adicional de correlación entre las observaciones con el mismo$\mathrm{id}$, y el tercer summand muestra, como en el ejemplo de dos vías, la fuente base de variación. Este segundo sumando es menos intuitivo, pero entre las observaciones con el mismo \ mathrm {id}, puede verse como una variación creciente entre observaciones con el mismo$\mathrm{Xw1}$ mientras disminuye la variación entre observaciones con diferentes $\mathrm{Xw1}$, debido a la forma de $I \otimes C \otimes J$.

Además, dado que todos los términos relacionados con $\mathrm{id}$ son aleatorios, la media se debe solo a $\mathrm{Xw1}$, así que eso $\mathbb{E} [y_{ijk}] = \mu_{j} = \mu_0 + \mathrm{Xw1}_j$o $\mu = \mathbf{1} \otimes (\mu_1, \mu_2, \mu_3) \otimes \mathbf{1}$.

Tenga en cuenta que, relacionado con la condición $(1)$: tenemos

$$\frac{c_{Xw1} }{c_{id * Xw1}} = \frac{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}}{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}} = 1,$$ while $$\frac{c_{Xw1}}{c_{R()}} = \frac{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}}{\sigma^2_{R()}} \neq 1.$$ Further, related to condition $(3)$ both $\mu^T A_{Xw1*id} \mu = 0$ and $\mu^T A_{R()} \mu = 0$. Also, related to condition $(2)$: we see that $$\begin{align*} \mu^T A_{Xw1} \mu & = \|A_{Xw1} \mu\|_2^2 \\ & = \|(\bar{J} \otimes C \otimes \bar{J}) (\mathbf{1} \otimes (\mu_1, \mu_2 \mu_3)' \otimes \mathbf{1}) \|_2^2 \\ & = (20)(3) \|C (\mu_1, \mu_2 \mu_3)'\|_2^2 \\ & = (20)(3) \sum_j (Xw1_j)^2. \end{align*}$$

Therefore, if the denominator sum of squares was the residual $\mathrm{R(id * Xw1)}$ like before, there would be both conditions $(1)$ and $(2)$ in the null hypothesis---since those are the two conditions that aren't satisfied without assumptions. However, if we were to use denominator sum of squares as the interaction, since condition $(1)$ is already satisfied, the null hypothesis would just be condition $(2)$. So, as you mention in your question, these different denominators just amount to different null hypotheses.

This analysis technique we use allows the choice of which null hypothesis is being tested to be transparent. Indeed, we can see this by writing out the conditions mentioned in the previous paragraph more explicitly. Using the denominator as the residual sum of squares forces us to test $Xw1_j = 0$ for all $j$ and $\sigma^2_{id * Xw1} = 0$, while using the denominator as the interaction sum of squares allows us to simply test $Xw1_j = 0$ for all $j$.