En respuesta a un creciente cuerpo de estadísticos e investigadores que critican la utilidad de las pruebas de hipótesis nulas (NHT) para la ciencia como un esfuerzo acumulativo, la Fuerza de Tarea de la Asociación Americana de Psicología sobre Inferencia Estadística evitó una prohibición total de NHT, pero en cambio sugirió que los investigadores informa los tamaños del efecto además de los valores p derivados de NHT.
Sin embargo, los tamaños del efecto no se acumulan fácilmente entre los estudios. Los enfoques metaanalíticos pueden acumular distribuciones de los tamaños de los efectos, pero los tamaños de los efectos se calculan típicamente como una relación entre la magnitud del efecto bruto y el "ruido" inexplicable en los datos de un experimento dado, lo que significa que la distribución de los tamaños de los efectos no solo se ve afectada por variabilidad en la magnitud bruta del efecto entre los estudios, pero también variabilidad en la manifestación del ruido entre los estudios.
Por el contrario, una medida alternativa de la fuerza del efecto, las razones de probabilidad, permiten la interpretación intuitiva estudio por estudio y se pueden agregar fácilmente entre los estudios para el metanálisis. Dentro de cada estudio, la probabilidad representa el peso de la evidencia para un modelo que contiene un efecto dado en relación con un modelo que no contiene el efecto y, por lo general, podría informarse como, por ejemplo, "Cálculo de una razón de probabilidad para el efecto de X reveló 8 veces más evidencia del efecto que su nulo respectivo ". Además, la razón de probabilidad también permite una representación intuitiva de la fuerza de los hallazgos nulos en la medida en que las razones de probabilidad por debajo de 1 representan escenarios en los que se favorece el nulo y tomar el recíproco de este valor representa el peso de la evidencia del nulo sobre el efecto. Notablemente, la razón de verosimilitud se representa matemáticamente como la razón de las variaciones inexplicables de los dos modelos, que difieren solo en la variación explicada por el efecto y, por lo tanto, no es una gran desviación conceptual del tamaño del efecto. Por otro lado, el cálculo de una razón de probabilidad metaanalítica, que representa el peso de la evidencia de un efecto entre los estudios, es simplemente una cuestión de tomar el producto de las razones de probabilidad entre los estudios.
Por lo tanto, sostengo que para la ciencia que busca establecer el grado de evidencia bruta a favor de un efecto / modelo, las razones de probabilidad son el camino a seguir.
Hay casos más matizados en los que los modelos son diferenciables solo en el tamaño específico de un efecto, en cuyo caso podría preferirse algún tipo de representación del intervalo sobre el cual creemos que los datos son consistentes con los valores de los parámetros del efecto. De hecho, el grupo de trabajo de la APA también recomienda informar los intervalos de confianza, que pueden usarse para este fin, pero sospecho que este también es un enfoque mal considerado.
Lamentablemente, los intervalos de confianza a menudo se malinterpretan (tanto por estudiantes como por investigadores ). También temo que su capacidad de uso en NHT (mediante la evaluación de la inclusión de cero dentro del IC) solo sirva para retrasar aún más la extinción de NHT como una práctica inferencial.
En cambio, cuando las teorías son diferenciables solo por el tamaño de los efectos, sugiero que el enfoque bayesiano sería más apropiado, donde la distribución previa de cada efecto se define por cada modelo por separado, y se comparan las distribuciones posteriores resultantes.
¿Parece suficiente este enfoque, que reemplaza los valores p, los tamaños del efecto y los intervalos de confianza con razones de probabilidad y, si es necesario, la comparación del modelo bayesiano? ¿Se pierde alguna característica inferencial necesaria que proporcionan las alternativas difamadas aquí?