Tuve una discusión con un estadístico en 2009 donde afirmó que el valor exacto de un valor p es irrelevante: lo único que es importante es si es significativo o no. Es decir, un resultado no puede ser más significativo que otro; sus muestras, por ejemplo, provienen de la misma población o no.
Tengo algunos reparos con esto, pero tal vez pueda entender la ideología:
El umbral del 5% es arbitrario, es decir que p = 0.051 no es significativo y que p = 0.049 sí, no debería cambiar realmente la conclusión de su observación o experimento, a pesar de que un resultado es significativo y el otro no es significativo.
La razón por la que menciono esto ahora es que estoy estudiando para una maestría en Bioinformática, y después de hablar con personas en el campo, parece haber un impulso determinado para obtener un valor p exacto para cada conjunto de estadísticas que hacen. Por ejemplo, si 'logran' un valor p de p <1.9 × 10-12 , quieren demostrar cuán significativo es su resultado, y que este resultado es SUPER informativo. Este problema se ejemplifica con preguntas como: ¿Por qué no puedo obtener un valor p menor que 2.2e-16? , por lo que desean registrar un valor que indique que por casualidad esto sería MUCHO menos de 1 en un billón. Pero veo poca diferencia en demostrar que este resultado ocurriría menos de 1 en un billón en comparación con 1 en un billón.
Puedo apreciar entonces que p <0.01 muestra que hay menos del 1% de posibilidades de que esto ocurra, mientras que p <0.001 indica que un resultado como este es aún más improbable que el valor p antes mencionado, pero si sus conclusiones se sacan completamente ¿diferente? Después de todo, ambos son valores p significativos. La única forma en que puedo concebir querer registrar el valor p exacto es durante una corrección de Bonferroni por la cual el umbral cambia debido al número de comparaciones realizadas, disminuyendo así el error tipo I. Pero aún así, ¿por qué querría mostrar un valor p que sea 12 órdenes de magnitud más pequeño que su umbral de importancia?
¿Y no es la aplicación de la corrección de Bonferroni en sí misma un poco arbitraria también? En el sentido de que inicialmente la corrección se considera muy conservadora y, por lo tanto, hay otras correcciones que uno puede elegir para acceder al nivel de significancia que el observador podría usar para sus comparaciones múltiples. Pero debido a esto, no es el punto en el que algo se vuelve significativo, esencialmente variable, dependiendo de qué estadísticas quiera usar el investigador. ¿Deberían las estadísticas estar tan abiertas a la interpretación?
En conclusión, ¿no deberían ser menos subjetivas las estadísticas (aunque supongo que la necesidad de que sean subjetivas es consecuencia de un sistema multivariado), pero en última instancia quiero alguna aclaración: ¿puede algo ser más significativo que otra cosa? ¿Y será suficiente p <0.001 con respecto a tratar de registrar el valor p exacto?