Una pregunta un poco extraña. En mi clase de bioestadística de cuarto año de hoy, estábamos discutiendo cuándo y cuándo no usar la corrección de pruebas múltiples, y el profesor hizo un comentario casual. Preguntó por qué no corregimos todas las pruebas que hemos realizado desde que comenzamos a hacer estadísticas, ya que todas son (en su mayoría) independientes y cada vez que observamos un resultado aumentamos nuestra probabilidad de sacar un falso positivo. Él se rió después, pero ¿por qué no hacemos esto? No digo que debamos hacerlo, porque obviamente es ridículo, pero ¿qué tan lejos está demasiado lejos cuando se trata de corregir las pruebas?
Asumiremos alfa = 0.05 por simplicidad, y diremos que cada prueba A, B y C no están bajo ningún tipo de dependencia y, por lo tanto, son independientes. Si me siento y pruebo A, B y C, ya sean pruebas T o lo que sea, obviamente tengo que ajustar para la corrección múltiple porque estoy tomando 0.95 a la potencia de tres, y mis posibilidades de obtener un cohete celeste falso positivo. Sin embargo, si hago A, B y C en días diferentes, dentro de los contextos de diferentes procedimientos, y obtengo diferentes resultados de ellos, ¿en qué se diferencia esto de la situación anterior? Todavía estamos observando las tres pruebas, todavía son independientes.
A lo que estoy tratando de llegar es al límite lógico donde decimos que dejemos de hacer la corrección de pruebas múltiples. ¿Deberíamos hacerlo solo para una familia de pruebas, o deberíamos hacerlo para un trabajo completo, o deberíamos hacerlo para cada prueba que hayamos realizado? Entiendo cómo usar la corrección de pruebas múltiples y usar FDR / Bonferonni en el trabajo todo el tiempo Este concepto me tomó la cabeza en círculos.
Gracias por tu tiempo.
Editar: Hay una discusión extendida sobre este tema en una pregunta más reciente .