Recientemente, he encontrado en un artículo de Klammer, et al. una declaración de que los valores p deben estar distribuidos uniformemente. Creo en los autores, pero no puedo entender por qué es así.

Klammer, AA, Park, CY y Stafford Noble, W. (2009) Calibración estadística de la función SEQUEST XCorr . Revista de investigación del proteoma . 8 (4): 2106–2113.

Para aclarar un poco. El valor p se distribuye uniformemente cuando la hipótesis nula es verdadera y se cumplen todos los demás supuestos. La razón de esto es realmente la definición de alfa como la probabilidad de un error de tipo I. Queremos que la probabilidad de rechazar una hipótesis nula verdadera sea alfa, rechazamos cuando el observado , la única forma en que esto sucede para cualquier valor de alpha es cuando el valor p proviene de un uniforme distribución. El objetivo de usar la distribución correcta (normal, t, f, chisq, etc.) es transformar de la estadística de prueba a un valor p uniforme. Si la hipótesis nula es falsa, entonces la distribución del valor p será (con suerte) más ponderada hacia 0.$\text{p-value} < \alpha$

Las funciones Pvalue.norm.simy Pvalue.binom.simen el paquete TeachingDemos para R simularán varios conjuntos de datos, calcularán los valores p y los trazarán para demostrar esta idea.

Ver también:

Murdoch, D, Tsai, Y y Adcock, J (2008). Los valores P son variables aleatorias. El estadístico estadounidense , 62 , 242-245.

Para más detalles.

Editar:

Como la gente todavía está leyendo esta respuesta y comentando, pensé que abordaría el comentario de @ whuber.

Es cierto que cuando se usa una hipótesis nula compuesta como los valores p solo se distribuirán uniformemente cuando las 2 medias son exactamente iguales y no serán uniformes si es cualquier valor menor que . Esto se puede ver fácilmente usando la función y configurándola para hacer una prueba unilateral y simulando con la simulación y los medios hipotéticos diferentes (pero en la dirección para hacer que el nulo sea verdadero).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

En lo que respecta a la teoría estadística, esto no importa. Considere si afirmé que soy más alto que todos los miembros de su familia, una forma de probar este reclamo sería comparar mi estatura con la altura de cada miembro de su familia, uno a la vez. Otra opción sería encontrar al miembro de su familia más alto y comparar su altura con la mía. Si soy más alto que esa persona, también soy más alto que el resto y mi reclamo es verdadero, si no soy más alto que esa persona, entonces mi reclamo es falso. Probar un nulo compuesto puede verse como un proceso similar, en lugar de probar todas las combinaciones posibles donde podemos probar solo la parte de igualdad porque si podemos rechazar eso a favor deμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$entonces sabemos que también podemos rechazar todas las posibilidades de . Si observamos la distribución de los valores p para los casos en que , la distribución no será perfectamente uniforme pero tendrá más valores más cercanos a 1 que a 0, lo que significa que la probabilidad de un error de tipo I será menor que El valor seleccionado lo convierte en una prueba conservadora. El uniforme se convierte en la distribución limitante a medida que se acerca a$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(las personas que están más actualizadas en términos de teoría de estadísticas probablemente podrían decir esto mejor en términos de supremum distributivo o algo así). Entonces, al construir nuestra prueba asumiendo la parte igual del nulo incluso cuando el nulo es compuesto, entonces estamos diseñando nuestra prueba para tener una probabilidad de un error tipo I que sea como máximo para cualquier condición donde el nulo sea verdadero.$\alpha$

Bajo la hipótesis nula, el estadístico de prueba tiene la distribución (p. Ej., Normal estándar). Mostramos que el valor tiene una distribución de probabilidad en otras palabras, se distribuye uniformemente. Esto es válido siempre que sea ​​invertible, una condición necesaria de las cuales es que no es una variable aleatoria discreta.$T$$F(t)$$P=F(T)$

Este resultado es general: la distribución de un CDF invertible de una variable aleatoria es uniforme en .$[0,1]$

Supongamos que denota la variable aleatoria con la función de distribución acumulativa para todo . Suponiendo que es invertible, podemos derivar la distribución del valor p aleatorio siguiente manera:$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

de donde podemos concluir que la distribución de es uniforme en .[ 0 , 1 $P$$[0,1]$

Esta respuesta es similar a la de Charlie, pero evita tener que definir .$t = F^{-1}(p)$

Simulación simple de distribución de valores p en caso de regresión lineal entre dos variables independientes:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

No creo que la mayoría de estas respuestas realmente respondan la pregunta en general. Se limitan al caso cuando existe una hipótesis nula simple y cuando el estadístico de prueba tiene un CDF invertible (como en una variable aleatoria continua que tiene un CDF estrictamente creciente). Estos casos son los que la mayoría de las personas tienden a preocuparse con la prueba z y la prueba t, aunque para probar una media binomial (por ejemplo), uno no tiene dicho CDF. Lo que se proporciona arriba me parece correcto para estos casos restringidos.

Si las hipótesis nulas son compuestas, entonces las cosas son un poco más complicadas. La prueba más general de este hecho que he visto en el caso compuesto usando algunos supuestos con respecto a las regiones de rechazo se proporciona en "Pruebas de hipótesis estadísticas" de Lehmann y Romano, páginas 63-64. Trataré de reproducir el argumento a continuación ...

Probamos una hipótesis nula $H_0$ frente a una hipótesis alternativa basada en una estadística de prueba, que vamos a denotamos como la variable aleatoria . Se supone que el estadístico de prueba proviene de alguna clase paramétrica, es decir, , donde es un elemento de la familia de distribuciones de probabilidad , y es un espacio de parámetros. La hipótesis nula y la hipótesis alternativa forman una partición de en esa $H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

El resultado de la prueba se puede denotar donde para cualquier conjunto definimos Aquí es nuestro nivel de significancia, y denota la región de rechazo de la prueba para el nivel de significancia .

Suponga que las regiones de rechazo satisfacen el if . En este caso de regiones de rechazo anidadas, es útil determinar no solo si la hipótesis nula se rechaza o no en un nivel de significancia dado , sino también para determinar el nivel de significancia más pequeño para el cual se rechazaría la hipótesis nula. Este nivel se conoce como el valor p , este número nos da una idea de qué tan fuertes son los datos (tal como se muestra en el estadístico de prueba ) en contradicción con la hipótesis nula .

Suponga que para some y que . Supongamos además que las regiones de rechazo obedecen la propiedad de anidamiento indicada anteriormente. Entonces se cumple lo siguiente:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Si para todos , entonces para , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Si para tenemos para todos los , entonces para tenemos $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Tenga en cuenta que esta primera propiedad solo nos dice que la tasa de falsos positivos se controla en al rechazar cuando el valor p es menor que , y la segunda propiedad nos dice (dado un supuesto adicional) que los valores p se distribuyen uniformemente bajo nulo hipótesis.$u$$u$

La prueba es como sigue:

1. Deje , y asuma para todos . Luego, por definición de$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$ , tenemos para todos . Por monotonicidad y suposición, se deduce que para todos . Dejando , se deduce que .$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Dejar $\theta \in \Theta_0$ y suponga que para todos los . Entonces , y por monotonicidad se deduce que . Considerando (1), se deduce que . $P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Tenga en cuenta que la suposición en (2) no se cumple cuando un estadístico de prueba es discreto, incluso si la hipótesis nula es simple en lugar de compuesta. Tomemos por ejemplo$X \sim \mathrm{Binom}(10, \theta)$ con y . Es decir, lanza una moneda diez veces y prueba si es justo o sesgado hacia las caras (codificado como un 1). La probabilidad de ver 10 caras en 10 lanzamientos de monedas justos es (1/2) ^ 10 = 1/1024. La probabilidad de ver 9 o 10 caras en 10 lanzamientos de monedas justos es 11/1024. Para cualquier estrictamente entre 1/1024 y 11/1024, rechazaría el valor nulo si , pero no tenemos ese para esos valores de cuando$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . En cambio, para tal . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Si los valores de p se distribuyen uniformemente debajo de H0, eso significa que es tan probable ver un valor de p de .05 como un valor de p de .80, pero esto no es cierto, ya que es menos probable observar un p- valor de .05 que un valor de p de .80, porque esa es precisamente la definición de la distribución normal de la que se toma el valor de p. Habrá más muestras fallando dentro del rango de normalidad que fuera de él, por definición. Por lo tanto, es más probable que encuentre valores p más grandes que los más pequeños.