¿Es el valor p también la tasa de descubrimiento falso?

En http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing) dice

Por ejemplo, si tenemos un valor p de 0.05 y concluimos que es significativo, la probabilidad de un descubrimiento falso es, por definición, 0.05.

Mi pregunta: siempre pensé que el descubrimiento falso es un error de Tipo I, que es igual a los niveles de significancia elegidos en la mayoría de las pruebas. El valor P es el valor calculado a partir de la muestra. De hecho, Wikipedia dice

El valor p no debe confundirse con el nivel de significancia en el enfoque de Neyman-Pearson o la tasa de error Tipo I [tasa de falsos positivos] " $\alpha$

Entonces, ¿por qué el artículo vinculado afirma que la tasa de error Tipo I viene dada por el valor p?

— Hola Mundo
fuente

El valor de Fisher y la tasa de error Tipo I son incompatibles de acuerdo con el siguiente documento: Hubbard, Bayarri (2012): Confusión sobre las medidas de evidencia ( 's) versus errores ( ' s) en las pruebas estadísticas clásicas . Además, eche un vistazo a esta publicación aquí en el sitio.

p

$p$

α

$\alpha$

p

$p$

α

$\alpha$

— COOLSerdash

@COOL Ese es un papel muy controvertido para citar. Solo eche un vistazo al comienzo de la discusión que sigue en la última página. Me parece que los autores, deliberadamente o inconscientemente, malinterpretan a muchos de los estadísticos que critican por ser tan ignorantes e incorrectos.

— whuber

@whuber Esta también fue mi impresión cuando leí el periódico. ¿Conoces un artículo, libro o publicación que ofrezca un tratamiento más benigno de este tema?

— COOLSerdash

@COOL Hay tantos que ni siquiera puedo seguirles el rastro.

— whuber

El artículo vinculado en surveyyanalysis.org es basura, y la cita es totalmente errónea.

— ameba

Respuestas:

Su tasa de descubrimiento falso no solo depende del umbral del valor p, sino también de la verdad. De hecho, si su hipótesis nula es realmente incorrecta, es imposible que haga un descubrimiento falso.

Tal vez sea útil pensarlo así: el umbral del valor p es la probabilidad de hacer descubrimientos falsos cuando no hay descubrimientos verdaderos que hacer (o para decirlo de otra manera, si la hipótesis nula es verdadera).

Básicamente,

Tipo 1 Error Rate = "Probabilidad de rechazar el valor nulo si es verdadero" = umbral de valor p

Tipo 1 Error Rate = False Discovery Rate SI la hipótesis nula es verdadera

es correcto, pero tenga en cuenta el condicional en el verdadero nulo. La tasa de descubrimiento falso no tiene este condicional y, por lo tanto, depende de la verdad desconocida de cuántas de sus hipótesis nulas son realmente correctas o no.

También vale la pena considerar que cuando controlas la tasa de descubrimiento falso utilizando un procedimiento como Benjamini-Hochberg, nunca puedes estimar la tasa de descubrimiento realmente falsa, sino que la controlas estimando un límite superior. Para hacer más, en realidad necesitaría poder detectar que la hipótesis nula es verdadera usando estadísticas, cuando solo puede detectar violaciones de cierta magnitud (dependiendo de la potencia de su prueba).

— Erik
fuente

"Un falso descubrimiento, un error de Tipo I y un falso positivo son todos equivalentes. Mientras que la tasa de falsos positivos y la tasa de error de Tipo I son iguales, la tasa de falso descubrimiento es una cantidad completamente diferente". Una definición de FDR se puede encontrar aquí .

— Randel

Seguramente cuando la hipótesis nula es verdadera (o todas las hipótesis nulas son verdaderas) el FDR es por definición 100% (100% de todas las hipótesis nulas rechazadas son rechazadas erróneamente).

— Björn

@ Björn El FDR es una opción de investigación, al igual que el FWER. Si el FDR = 0.05 y todo

m

$m$ las hipótesis nulas son verdaderas, entonces el número esperado de descubrimientos falsos es

0.05 m

$0.05m$ . En ninguna parte de la literatura seminal de FDR verá un método propuesto para rechazar todas las hipótesis nulas verdaderas. Sospecho que está confundiendo las ideas " todas las hipótesis nulas verdaderas rechazadas son descubrimientos falsos" y "el FDR rechaza todas las hipótesis nulas verdaderas".

— Alexis

La diferencia entre los valores de P y la tasa de falsos positivos (o tasa de falso descubrimiento) se explica, claramente espero, en http://rsos.royalsocietypublishing.org/content/1/3/140216

Aunque ese documento usa el término False Discovery Rate, ahora prefiero False Positive Rate, porque el primer término a menudo se usa en el contexto de correcciones para comparaciones múltiples. Ese es un problema diferente. El documento señala que para una sola prueba imparcial, la tasa de falsos positivos es mucho más alta que el valor P en casi todas las circunstancias.

También hay una descripción cualitativa de la lógica subyacente en https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant

— David Colquhoun
fuente