Si alguna prueba paramétrica no rechaza nulo, ¿su alternativa no paramétrica hace lo mismo?

12

Si se supone que las pruebas no paramétricas tienen menos potencia que sus alternativas paramétricas, ¿implica esto que si alguna prueba paramétrica no rechaza nulo, entonces su alternativa no paramétrica no rechaza también nulo? ¿Cómo puede cambiar esto si no se cumplen los supuestos de la prueba paramétrica y la prueba se usa de todos modos?

hypothesis-testing nonparametric parametric

— Miroslav Sabo
fuente

44

(a) si la prueba A tiene una potencia menor que la prueba B en alguna circunstancia supuesta, eso no implica que los casos que A rechazará sean un subconjunto de aquellos en B (de hecho, eso no es posible a un nivel de significación fijo); rechazan porciones diferentes (pero quizás muy superpuestas) del espacio muestral; siempre hay casos en que cada uno rechaza que el otro no. (b) Si no se cumplen los supuestos de la prueba no paramétrica (? se es que alguna vez se reunieron en realidad), entonces las pruebas paramétricas pueden tener relativamente pobre de energía (por ejemplo, t-test de Mann-Whitney vs bajo colas pesadas)

— Glen_b -Reinstate Monica

9

Si una prueba paramétrica no puede rechazar la hipótesis nula, entonces su equivalente no paramétrico definitivamente puede rechazar la hipótesis nula. Como dijo @John, esto generalmente ocurre cuando se violan los supuestos que justificarían el uso de la prueba paramétrica. Por ejemplo, si comparamos la prueba t de dos muestras con la prueba de suma de rangos de Wilcoxon, podemos hacer que esta situación suceda si incluimos valores atípicos en nuestros datos (con valores atípicos no deberíamos usar la prueba de dos muestras).

#Test Data
x = c(-100,-100,rnorm(1000,0.5,1),100,100)
y = rnorm(1000,0.6,1)

#Two-Sample t-Test
t.test(x,y,var.equal=TRUE)

#Wilcoxon Rank Sum Test
wilcox.test(x,y)

Los resultados de ejecutar la prueba:

> t.test(x,y,var.equal=TRUE)

    Two Sample t-test

data:  x and y 
t = -1.0178, df = 2002, p-value = 0.3089
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.6093287  0.1929563 
sample estimates:
mean of x mean of y 
0.4295556 0.6377417 

> 
> wilcox.test(x,y)

    Wilcoxon rank sum test with continuity correction

data:  x and y 
W = 443175, p-value = 5.578e-06
alternative hypothesis: true location shift is not equal to 0

9

No.

Si bien las pruebas paramétricas pueden ser más potentes, no siempre es así. Cuando no es el caso, generalmente ocurre en situaciones en las que no debería ejecutar las pruebas paramétricas.

Pero, incluso si está recolectando muestras de tamaño decente de distribuciones normales con igual varianza donde la prueba paramétrica tiene mayor potencia, no garantiza que para un experimento en particular una prueba paramétrica no significativa signifique una prueba no paramétrica no significativa. Aquí hay una simulación que solo usa muestreo aleatorio de distribuciones normales y encuentra que alrededor del 1.8% del tiempo cuando p> 0.05 para una prueba t que p <0.05 para una prueba de Wilcoxon.

nsim <- 10000
n <- 50
cohensD <- 0.2
Y <- replicate(nsim, {
    y1 <- rnorm(n, 0, 1); y2 <- rnorm(n, cohensD, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    wt <- wilcox.test(y1, y2)
    c(tt$p.value, wt$p.value)})
sum(Y[1,] > 0.05 & Y[2,] < 0.05) / nsim

Puede notar que, en esta simulación, el poder de la prueba paramétrica es mayor que la prueba no paramétrica (aunque son similares).

sum(Y[1,] < 0.05) / nsim #t-test power
sum(Y[2,] < 0.05) / nsim #wilcox.test power

Pero, como se muestra arriba, eso no significa que en todos los casos en que la prueba paramétrica no encuentre un efecto que la prueba no paramétrica también falle.

Puedes jugar con esta simulación. Haga n bastante grande, digamos 1000, y haga que el tamaño del efecto sea mucho más pequeño, digamos 0.02 (necesita poca potencia para tener muchas muestras donde falla la prueba). Puede estar prácticamente garantizado con un n de 1000 que ninguna de las muestras sería rechazada por falta de normalidad (por inspección, no por una prueba estúpida) o por tener valores atípicos sospechosos. Aún así, algunas de las pruebas paramétricas no son significativas, mientras que las pruebas no paramétricas son significativas.

También es posible que desee ver Hunter & May (1993).

Hunter, MA, y May, RB (1993). Algunos mitos sobre las pruebas paramétricas y no paramétricas. Canadian Psychology, 34 (4), 384-389.

— John
fuente