¿Por qué es un problema la dependencia?

Me interesa saber por qué las observaciones dependientes son un problema en las estadísticas. Supongamos que quiere saber si hay una diferencia en los puntajes promedio de los exámenes entre dos escuelas. Recoges 50 observaciones en cada escuela. Estas 50 observaciones se derivan de 5 aulas diferentes en cada escuela y hay dependencia dentro de las aulas. En este caso, ¿cómo se verían afectados los resultados de la prueba t y cómo podrían conducir a conclusiones inexactas?

El valor p para la prueba t se calcula bajo el supuesto de que todas las observaciones son independientes. Calcular las probabilidades (como el valor p) es mucho más difícil cuando se trata de variables dependientes, y no siempre es fácil ver matemáticamente dónde las cosas salen mal con la prueba en presencia de dependencia. Sin embargo, podemos ilustrar fácilmente el problema con una simulación.

Considere, por ejemplo, el caso en el que hay 5 aulas en cada una de las dos escuelas, con 10 estudiantes en cada aula. Bajo el supuesto de normalidad, el valor p de la prueba debe distribuirse uniformemente en el intervalo si no hay diferencia en los puntajes promedio de la prueba entre todas las aulas. Es decir, si realizamos muchos estudios como este y trazamos un histograma de todos los valores de p, debería parecerse a la distribución uniforme en forma de caja .$(0,1)$

Sin embargo, si existe una correlación dentro del aula entre los resultados de los estudiantes, los valores p ya no se comportan como deberían. Una correlación positiva (como podría esperarse aquí) a menudo conducirá a valores p que son demasiado pequeños, de modo que la hipótesis nula será rechazada con demasiada frecuencia cuando de hecho sea cierta. Una simulación R que ilustra esto se puede encontrar a continuación. Se simulan 1000 estudios de dos escuelas para diferentes correlaciones dentro del aula. Los valores p de la prueba t de corrección de correlación se muestran en los histogramas de la figura. Se distribuyen uniformemente cuando no hay correlación, pero no de otra manera. En la simulación, se supone que no hay diferencias medias entre las aulas y que todas las aulas tienen la misma correlación dentro del aula.

La consecuencia de este fenómeno es que la tasa de error de tipo I de la prueba t estará muy lejos si hay correlaciones presentes dentro del aula. Como ejemplo, una prueba t al nivel del 5% es, de hecho, aproximadamente al nivel del 25% si la correlación dentro del aula es 0.1. En otras palabras, el riesgo de rechazar falsamente la hipótesis nula aumenta dramáticamente cuando las observaciones son dependientes .

Tenga en cuenta que los ejes difieren algo entre los histogramas.

Código R:

library(MASS) 
B1<-1000

par(mfrow=c(3,2))

for(correlation in c(0,0.1,0.25,0.5,0.75,0.95))
{
# Create correlation/covariance matrix and mean vector
Sigma<-matrix(correlation,10,10)
diag(Sigma)<-1
mu<-rep(5,10)

# Simulate B1 studies of two schools A and B
p.value<-rep(NA,B1)
for(i in 1:B1)
{
    # Generate observations of 50 students from school A
    A<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    # Generate observations of 50 students from school B
    B<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    p.value[i]<-t.test(A,B)$p.value
}

# Plot histogram
hist(p.value,main=paste("Within-classroom correlation:",correlation),xlab="p-value",cex.main=2,cex.lab=2,cex.axis=2)
}

El problema sería que comparar las dos escuelas de esta manera combina los efectos a nivel universitario con los efectos a nivel de aula. Un modelo mixto te permitiría desenredarlos. Si no está interesado en desenredarlos, debe tener en cuenta el muestreo agrupado (aunque muchas personas no lo hacen).

El comentario anterior de @Nico llega a un problema aquí: ¿Supongamos que un maestro en una escuela es realmente bueno y que él / ella es uno de los maestros elegidos?

Pero otro problema es que los estudiantes de cada clase serán más parecidos entre sí que con otros estudiantes de la misma universidad en todo tipo de formas: las diferentes materias atraen a diferentes tipos de estudiantes por edad, género, experiencia, fortaleza académica y debilidad etc.

No hay nada de malo en el examen que describió porque tomó una muestra de ambas escuelas de manera justa. Las observaciones dependientes entran en juego cuando hay otra variable de la que dependen las muestras. Es decir, en una de las escuelas solo se ha presentado una clase y usted decidió tomar los resultados de 50 personas dentro de esta clase pensando que estaría bien. Pero dentro del resultado de la escuela depende de una clase, por lo que no puede hacerlo así y dará un resultado incorrecto que no puede detectar mediante ninguna prueba estadística ... es solo un diseño experimental incorrecto.

Pero creo que la gente suele hablar de observaciones dependientes desde diferentes puntos de vista. Es cuando cree que puede derivar distribuciones y errores de sus muestras basándose en supuestos de independencia (la mayoría de las fórmulas estándar asumen eso), mientras que cuando sus resultados dependen unos de otros, esas reglas no son exactas en absoluto ...