Sigo viendo esta famosa cita en todas partes, pero no entiendo la parte enfatizada cada vez.
Un hombre que "rechaza" una hipótesis provisionalmente, como una práctica habitual, cuando la importancia está en el nivel del 1% o superior, ciertamente se equivocará en no más del 1% de tales decisiones. Porque cuando la hipótesis es correcta, se equivocará en solo el 1% de estos casos, y cuando es incorrecta, nunca se equivocará en el rechazo. [...] Sin embargo, el cálculo es absurdamente académico, ya que de hecho ningún trabajador científico tiene un nivel fijo de importancia en el que año tras año, y en todas las circunstancias, rechaza las hipótesis; más bien da su mente a cada caso particular a la luz de su evidencia y sus ideas.No debe olvidarse que los casos elegidos para aplicar una prueba son manifiestamente un conjunto altamente seleccionado, y que las condiciones de selección no pueden especificarse ni siquiera para un solo trabajador; ni que en el argumento utilizado sea claramente ilegítimo para uno elegir el nivel real de significación indicado por un juicio particular como si fuera su hábito de toda la vida usar solo este nivel.
(Métodos estadísticos e inferencia científica, 1956, p. 42-45)
Más específicamente, no entiendo
- ¿Por qué los casos elegidos para aplicar una prueba son "altamente seleccionados"? Digamos que se pregunta si la altura promedio de las personas dentro de un área es inferior a 165 cm, y decide realizar una prueba. El procedimiento estándar, hasta donde yo sé, es extraer muestras aleatorias del área y medir su altura. ¿Cómo puede ser esto altamente seleccionado?
- Suponga que los casos están altamente seleccionados, pero ¿cómo se relaciona esto con la elección del nivel de significancia? Considere nuevamente el ejemplo anterior, si su método de muestreo (lo que supongo es a lo que Fisher se refiere como condiciones de selección ) está sesgado y de alguna manera favorece a las personas altas, entonces toda la investigación se arruina, y la determinación subjetiva del nivel de significancia no puede salvarlo.
- En realidad, ni siquiera sé a qué se refiere "el nivel real de significación indicado por un ensayo en particular". ¿Es el valor de ese experimento, algún valor preestablecido como el (in) famoso 0.05, o algo más?