Ahora entiendo mucho mejor lo que me preocupaba de las pruebas t pareadas y no pareadas, y los valores p asociados. Descubrirlo ha sido un viaje interesante, y ha habido muchas sorpresas en el camino. Una sorpresa ha resultado de una investigación de la contribución de Michael. Esto es irreprochable en términos de consejos prácticos. Además, dice lo que creo que prácticamente todos los estadísticos creen, y tiene varios votos a favor para respaldar esto. Sin embargo, como una teoría, no es literalmente correcta. Descubrí esto elaborando las fórmulas para los valores p y luego pensando cuidadosamente cómo usar las fórmulas para conducir a contraejemplos. Soy matemático por formación, y el contraejemplo es un "contraejemplo de matemático". No es algo con lo que te encuentres en las estadísticas prácticas, El tipo de cosas que estaba tratando de averiguar cuando hice mi pregunta original.
Aquí está el código R que da el contraejemplo:
vLength <- 10; meanDiff <-10^9; numSamples <- 3;
pv <- function(vLength,meanDiff) {
X <- rnorm(vLength)
Y <- X - meanDiff + rnorm(vLength,sd=0.0001)
Paired <- t.test(X,Y,var.equal=T,paired=T)
NotPaired <- t.test(X,Y,var.equal=T,paired=F)
c(Paired$p.value,NotPaired$p.value,cov(X,Y))
}
ans <- replicate(numSamples,pv(vLength,meanDiff))
Tenga en cuenta las siguientes características: X e Y son dos 10 tuplas cuya diferencia es enorme y casi constante. Para muchas cifras significativas, la correlación es 1.000 ... El valor p para la prueba no emparejada es alrededor de 10 ^ 40 veces menor que el valor p para la prueba emparejada. Así que esto contradice el relato de Michael, siempre que uno lea su relato literalmente, al estilo matemático. Aquí termina la parte de mi respuesta relacionada con la respuesta de Michael.
Aquí están los pensamientos provocados por la respuesta de Peter. Durante la discusión de mi pregunta original, conjeturé en un comentario que dos distribuciones particulares de valores p que suenan diferentes son, de hecho, las mismas. Ahora puedo probar esto. Lo más importante es que la prueba revela la naturaleza fundamental de un valor p, tan fundamental que ningún texto (que me he encontrado) se molesta en explicar. Quizás todos los estadísticos profesionales conocen el secreto, pero para mí, la definición del valor p siempre me pareció extraña y artificial. Antes de revelar el secreto del estadístico, permítame especificar la pregunta.
Deje y elija al azar e independientemente dos tuplas aleatorias de alguna distribución normal. Hay dos formas de obtener un valor p de esta elección. Una es usar una prueba t no emparejada, y la otra es usar una prueba t emparejada. Mi conjetura fue que la distribución de los valores p que se obtiene es la misma en los dos casos. Cuando empecé a pensar en ello, decidí que esta conjetura había sido insensata y falsa: la prueba no asociada se asocia a una estadística t en grados de libertad, y la prueba asociada a una t- estadística enn>1n2(n−1)n−1grados de libertad. Estas dos distribuciones son diferentes, entonces, ¿cómo podrían las distribuciones asociadas de valores p ser las mismas? Solo después de pensarlo mucho más me di cuenta de que esta obvia desestimación de mi conjetura era demasiado fácil.
La respuesta proviene de las siguientes consideraciones. Suponga que es un pdf continuo (es decir, su integral tiene el valor uno). Un cambio de coordenadas convierte la distribución asociada en la distribución uniforme en . La fórmula es
y esto se explica en muchos textos. Lo que los textos no señalan en el contexto de los valores p es que esta es exactamente la fórmula que da el valor p del estadístico t, cuandof:(0,∞)→(0,∞)[0,1]f ( - ∞ , ∞ ) [ 0 , ∞ )
p=∫∞tf(s)ds
fes el pdf para la distribución t. (Estoy tratando de mantener la discusión lo más simple posible, porque realmente es simple. Una discusión más completa trataría las pruebas t unilaterales y bilaterales de manera ligeramente diferente, podrían surgir factores de 2 y el estadístico t podría estar en lugar de en . Omito todo ese desorden).
(−∞,∞)[0,∞)
Exactamente la misma discusión se aplica cuando se encuentra el valor p asociado con cualquiera de las otras distribuciones estándar en estadística. Una vez más, si los datos se distribuyen aleatoriamente (esta vez de acuerdo con alguna distribución diferente), los valores p resultantes se distribuirán uniformemente en .[0,1]
¿Cómo se aplica esto a nuestras pruebas t pareadas y no pareadas? El punto está en la prueba t pareada, con muestras elegidas de forma independiente y aleatoria, como en mi código anterior, el valor de t sigue una distribución t (con grados de libertad). Entonces, los valores p que resultan de replicar la elección de X e Y muchas veces siguen la distribución uniforme en . Lo mismo es cierto para la prueba t no emparejada, aunque esta vez la distribución t tiene grados de libertad. Sin embargo, los valores p que resultan también tienen una distribución uniforme en , según el argumento general que di anteriormente. Si el código de Peter anterior se aplica para determinar los valores p, entonces obtenemos dos métodos distintos de extraer una muestra aleatoria de la distribución uniforme en[ 0 , 1 ] 2 ( n - 1 ) [ 0 , 1 ] [ 0 , 1 ]n−1[0,1]2(n−1)[0,1][0,1] . Sin embargo, las dos respuestas no son independientes.