Una interacción estadística es significativa, pero el autor la niega. ¿Por qué?

Estoy evaluando un artículo de revista sobre sus interacciones estadísticas.

El artículo está tratando de establecer una relación entre un control menos estricto de la presión arterial y la progresión a hipertensión severa. Sospecha que la hipertensión preexistente es un factor pronóstico (dado ). $p=0.048<0.05$

Su defensa es que

El valor es marginalmente significativo. Esto puede ser por casualidad. Si la hipertensión preexistente fuera realmente un factor pronóstico adverso, las tasas de glucemia baja deberían haber sido más altas en el grupo de control menos estricto y el grupo de control estricto, en comparación con aquellos sin hipertensión gestacional. $p$

¿Es esta defensa realmente válida? Este argumento parece refutar la "hipertensión preexistente" como un factor de riesgo de progresión a hipertensión severa.

Debajo están los datos.

\begin{array}{cc} Pre-existing hypertension & O R = 2.11 \\ Gestational hypertension & O R = 1.13 \\ p = 0.048 \end{array}

$\begin{array} {|c|c|} \hline \text{Pre-existing hypertension} & OR=2.11 \\ \hline \text{Gestational hypertension} & OR=1.13 \\ \hline & p=0.048 \\ \hline \end{array}$

\begin{array}{ccc} Pre-existing hypertension & Progression & No progression \\ Less-tight control & 159 & 210 \\ Tight control & 96 & 267 \end{array}

$\begin{array} {|c|c|c|} \hline \text{Pre-existing hypertension} & \text{Progression} & \text{No progression} \\ \hline \text{Less-tight control} & 159 & 210 \\ \text{Tight control} & 96 & 267 \\ \hline \end{array}$

\begin{array}{ccc} Gestational hypertension & Progression & No progression \\ Less tight control & 41 & 83 \\ Tight control & 38 & 87 \end{array}

$\begin{array} {|c|c|c|} \hline \text{Gestational hypertension} & \text{Progression} & \text{No progression} \\ \hline \text{Less tight control} & 41 & 83 \\ \text{Tight control} & 38 & 87 \\ \hline \end{array}$

interaction odds

— usuario2513881
fuente

Ver aquí para más información.

— user2513881

La clave es: "El valor p es marginalmente significativo". Esencialmente, el autor continúa diciendo que esperaban un efecto más fuerte y, por lo tanto, un valor p más pequeño (evidencia más fuerte contra la hipótesis nula). Personalmente, me gusta el hecho de que este autor considera que el valor p es marginal y no solo va con la respuesta fácil de "Oh, el valor p <0.05 debe ser estadísticamente significativo".

— Lauren Goodwin

@Lauren Para el contrapunto, considere que esta es una declaración post hoc . Un experimentador verdaderamente riguroso establecería criterios tanto para los valores p como para los tamaños del efecto de antemano y respetaría esos criterios en su evaluación de los resultados. Si, como se implica aquí, el criterio del valor p es 0.05, entonces este resultado de 0.048 es significativo, punto. Declarar lo contrario sería similar a desafiarte a una carrera de una milla de largo, perder y luego a la línea de meta proponiendo que la carrera realmente fue de dos millas y, por lo tanto, no se ha perdido.

— whuber

No tengo la reputación requerida para votar, así que la agregaré como respuesta.

Estoy totalmente de acuerdo con lo que dijo @whuber. El enfoque típico en este tipo de estudio es declarar a priori un nivel de significación. Citado del artículo, los autores de hecho hacen esto,

Para acomodar las muchas comparaciones realizadas, se consideró que los valores de P de dos colas de menos de 0.01 para los resultados secundarios y menos de 0.001 para otros resultados indican significancia estadística

... para estos análisis exploratorios, se utilizó la prueba de homogeneidad Breslow-Day y se consideró que los valores de P inferiores a 0,05 indicaban significación estadística

Mencionar un resultado como "marginalmente significativo" es claramente incorrecto cuando ya ha declarado sus niveles como significativos. O algo es significativo o no lo es. Solo para agregar, los autores también calcularon que el estudio tenía una potencia del 80%, suponiendo un nivel de detección de alfa <0.05.

Por otro lado, si los autores proporcionan un tamaño de efecto (como el OR) que tiene un valor p <0.05 pero está extremadamente cerca de 1, entonces creo que está completamente justificado decir "esto fue realmente significativo, pero tiene sin relevancia clínica debido al bajo tamaño del efecto ".

— demodw
fuente