¿Es p = 5.0% significativo?

Hoy me preguntaron si un valor p de 0.05 (exactamente) se considera significativo (dado alfa = 5%) o no. No sabía la respuesta y Google mostró ambas respuestas: (a) el resultado es significativo si p es inferior al 5% y (b) si p es inferior al 5% o igual al 5%.

Por supuesto, ninguno de estos sitios web citó a nadie. ¿Por qué debería uno? Es de conocimiento común y el 5% son arbitrarios, de todos modos. Pero eso no me ayudará a decirles a mis alumnos algo para recordar.

Entonces, aquí están mis preguntas desesperadas sobre las hipótesis de prueba: si el valor p es exactamente el alfa, ¿considero el resultado significativo o no? ¿Y cuál es la cita autorizada en este caso?

Muchas gracias

Dejando de lado algunos problemas prácticos (como la medida en que es arbitraria, por ejemplo), las definiciones de nivel de significación y valor p hacen que la respuesta a esta pregunta sea inequívoca.$\alpha$

Es decir, formalmente, la regla de rechazo es que rechazas cuando .$p = \alpha$

Realmente solo debería importar para el caso discreto, pero en esa situación, si no rechaza cuando , ¡su tasa de error tipo I en realidad no será α !$p=\alpha$$\alpha$

(En lo que a mí respecta, no hay una cita 'autorizada'; realmente necesitas familiarizarte con los enfoques Neyman-Pearson y Fisherian para la prueba de hipótesis, y es algo que se desarrolló con el tiempo).

Existen varios textos estadísticos buenos que describen las pruebas de hipótesis correctamente.

La definición del valor p se da correctamente en la primera oración del artículo relevante de Wikipedia *:

el valor p es la probabilidad de obtener un estadístico de prueba al menos tan extremo como el que se observó realmente, suponiendo que la hipótesis nula sea verdadera.

* (y no, Wikipedia no es una autoridad, solo digo que la definición es correcta)

Por simplicidad, sigamos con los puntos nulos; sirve para transmitir el punto sin enturbiar las aguas con problemas adicionales.

Ahora el nivel de significancia, es la tasa de error tipo I seleccionada. Esta es la tasa que elige la hipótesis nula que se rechazará cuando sea cierta. Es decir, es la proporción del tiempo que debe rechazar el valor nulo. Ahora considere una estadística de prueba con una distribución discreta: la única vez que es posible una p de exactamente α **. (Por lo general, también será el caso de que el alfa real sea diferente de algo agradable y redondo como el 5%).$\alpha$$p$ $\alpha$

** Bueno, supongo que estoy limitando mi discusión solo a estadísticas de prueba distribuidas puramente discretas o puramente continuas. En el caso mixto, puede averiguar cómo se aplica mi discusión discreta (en las situaciones en que se aplica).

Por ejemplo, considere una prueba de signo de dos colas con , digamos. El nivel de significancia alcanzable más cercano al 5% es 4.904%. Así que vamos a elegir α = 4.904 % (o para ser más precisos, $n=17$$\alpha = 4.904\%$ ).$\frac{137500}{2^{17}}$

Entonces, cuando es verdadero, ¿cuál es la tasa de rechazo si rechazamos cuando p = α ? Podemos solucionarlo. Es 4.904%, es el α que elegimos.$H_0$$p=\alpha$$\alpha$

$H_0$$p=\alpha$$\alpha$

$p=\alpha$

$p=\alpha$

Si describe su regla de rechazo por adelantado y muestra que (si se cumplen los supuestos), tiene el nivel de significancia deseado, entonces probablemente no haya necesidad de referencias.

$H_0$

$\alpha$

(Si tiene una edición diferente, los números de página pueden cambiar, pero tiene un índice, por lo que puede buscar términos; tenga cuidado, es posible que tenga que mirar los listados en 'Prueba de hipótesis' o algo similar en el índice para encontrar 'región de rechazo')

Hmm, intentemos otro libro del estante. Wackerly, Mendenhall & Scheaffer Mathematical Statistics with Applications, 5a edición , define una región de rechazo en p412 y un valor p (la misma definición que C&B) en p431.

Una confesión interesante que aprendí en mi primera clase de bioestadística de un profesor es que el nivel de significancia de 0.05 se logró más a través de un consenso que de una verdad dorada. Desde entonces, he visto literatura que coquetea con el nivel de significancia de 0.05, como "acercarse" para seguir siendo un hallazgo sorprendente del estudio y he escuchado argumentos de que el nivel de significancia de 0.05 puede no aplicarse a todos los campos de investigación. Dicho esto, he encontrado que las estimaciones puntuales y los intervalos de confianza son más informativos que los niveles de significación. Aquí hay un artículo interesante sobre el tema (para mí de todos modos).

El valor de p generalmente se establece para el consenso como se dijo anteriormente (o más bien la pereza). Para poder decir realmente que algo es significativo, debemos encontrar el valor de p que corresponde al tamaño del efecto, el tamaño de la muestra y qué tan estricto desea que sea para sus datos. Esto se llama análisis de potencia (es un subcampo dentro de las estadísticas). Muchas personas no lo saben o simplemente no lo usan porque no es sencillo. Esto no quiere decir que esté bien así. Siempre debemos hacer este tipo de estudio para sacar inferencias que sean realmente significativas.