¿Puede un intervalo de confianza estrecho alrededor de un efecto no significativo proporcionar evidencia para el nulo?

9

Obviamente es falaz suponer que el hecho de no rechazar lo nulo implica que lo nulo es verdadero. Pero en el caso de que la hipótesis nula no es rechazada y el intervalo de confianza correspondiente (IC) es estrecha y centrada alrededor de 0, ¿esto no proporciona evidencia para la hipótesis nula?

Tengo dos ideas: Sí, en la práctica esto proporcionaría evidencia de que el efecto es más o menos 0. Sin embargo, en un marco de prueba de hipótesis estricto, parece que los efectos nulos son simplemente inutilizables para la inferencia, al igual que sus IC correspondientes. Entonces, ¿cuál es el significado de un IC cuando su estimación puntual no es significativa? ¿También es inutilizable para la inferencia o se puede usar como en el ejemplo anterior para cuantificar la evidencia para el nulo?

Se alientan las respuestas con referencias académicas.

hypothesis-testing statistical-significance confidence-interval

— ATJ
fuente

Probablemente le interesarán las pruebas de equivalencia y las preguntas en el sitio que lo detallan. Vea ¿Cómo probar hipótesis de diferencias sin grupo? por un ejemplo

— Andy W

1

Si quiere decir evidencia de un punto nulo contra la alternativa de cualquier otra cosa ... entonces, no. La cantidad infinitamente infinita de alternativas entre el valor muy pequeño observado y el nulo seguirá siendo más probable que el nulo. Si quieres decir algo más, entonces quizás en algunas circunstancias.

— Glen_b -Reinstate a Monica el

Sí, entonces sería una cuestión de prueba equivalente, un término del que aún no había oído hablar.

— ATJ

6

En resumen: sí.

Como escribió Andy W, concluir que el parámetro es igual a un valor específico (en su caso, el tamaño del efecto es igual a cero), es una cuestión de prueba de equivalencia.

En su caso, este intervalo de confianza estrecho puede de hecho indicar que el efecto es prácticamente cero, es decir, la hipótesis nula de equivalencia puede ser rechazada. La equivalencia significativa en el nivel se muestra típicamente mediante un intervalo de confianza de normal que se encuentra completamente dentro de un intervalo de equivalencia preespecificado. Este intervalo de equivalencia tiene en cuenta que puede descuidar desviaciones realmente pequeñas, es decir, todos los tamaños de efectos dentro de este intervalo de equivalencia pueden considerarse prácticamente equivalentes. (La prueba estadística de igualdad no es posible). $1-\alpha$ $1-2\alpha$

Consulte "Pruebas de hipótesis estadísticas de equivalencia y no inferioridad" de Stefan Wellek para leer más, el libro más completo sobre este tema.

— Horst Grünbusch
fuente

2

Las hipótesis nulas ejemplifican el significado de "Todos los modelos están equivocados, pero algunos son útiles". Probablemente sean más útiles si no se toman literalmente y fuera de contexto, es decir, es importante recordar el propósito epistémico de la nula. Si se puede falsificar, que es el objetivo pretendido, entonces la alternativa se vuelve más útil en comparación, aunque todavía es poco informativa. Si rechaza el valor nulo, está diciendo que el efecto probablemente no sea cero (o lo que sea, las hipótesis nulas también pueden especificar otros valores para la falsificación) ... entonces, ¿qué es entonces?

El tamaño del efecto que calcula es su mejor estimación puntual del parámetro de población. En general, las posibilidades deberían ser igualmente buenas de que se sobreestime o subestime, pero las posibilidades de que sea una diana de centro muerto son infinitesimales, como implica el comentario de @ Glen_b. Si por algún extraño giro del destino (o por construcción, de cualquier manera, supongo que estamos hablando hipotéticamente?) Su estimación cae directamente en , esto todavía no es mucha evidencia de que el parámetro no sea un valor diferente dentro de El intervalo de confianza. El significado del intervalo de confianza no cambia en función de la importancia de cualquier prueba de hipótesis, excepto en la medida en que puede cambiar la ubicación y el ancho de una manera relacionada. $0.\bar 0$

En caso de que no esté familiarizado con el aspecto de las estimaciones de tamaño del efecto para muestras de una población (simulada) cuya hipótesis nula es literalmente cierta (o en caso de que aún no la haya visto y solo esté aquí para un poco de entretenimiento estadístico) ), echa un vistazo a Danza de los valores $p$ Geoff Cumming . En caso de que esos intervalos de confianza no sean lo suficientemente estrechos para su gusto, he intentado simular algunos de los míos en R utilizando muestras generadas aleatoriamente, apenas tímidas de cada una de . Olvidé establecer una semilla, pero configuré y luego corrí tantas veces como me importaba antes de terminar esta respuesta, lo que me dio 6000 muestras al final. Aquí hay un histograma y una gráfica de densidad usando y $n=1\rm M$ $\mathcal N(0,1)$ x=c()x=append(x,replicate(500,cor(rnorm(999999),rnorm(999999))))hist(x,n=length(x)/100)plot(density(x)), respectivamente:

$\ \ \ \$

Como era de esperar, hay evidencia de una variedad de efectos distintos de cero que surgen de estas muestras aleatorias de una población con literalmente cero efecto, y estas estimaciones se distribuyen más o menos normalmente alrededor del parámetro verdadero ( skew(x)= -.005, kurtosis(x)= 2.85). Imagine que solo conoce el valor de su estimación de una muestra de , no el parámetro verdadero: ¿por qué esperaría que el parámetro esté más cerca de cero que su estimación en lugar de más? Su intervalo de confianza puede incluir el valor nulo, pero el valor nulo no es realmente más plausible que el valor de la distancia equivalente al tamaño del efecto de la muestra en la dirección opuesta, ¡y otros valores pueden ser más plausibles que eso, especialmente su estimación puntual! $n=1\rm M$

Si, en la práctica, desea demostrar que un efecto es más o menos cero, debe definir cuánto más o menos está dispuesto a ignorar. Con estas enormes muestras que he simulado, la estimación de mayor magnitud que fue . Con muestras más realistas de , la más grande que encuentro entre las muestras de es . Una vez más, los residuos se distribuyen normalmente, por lo que son poco probables, pero el punto es que no son inverosímiles. $|r|=.004$ $n=999$ $1\rm M$ $|r|=.14$

Un IC probablemente sea más útil para la inferencia que un NHST en general. No solo representa cuán mala idea podría ser asumir que el parámetro es insignificantemente pequeño; representa una buena idea de cuál es realmente el parámetro. Todavía se puede decidir si esto es insignificante, pero también se puede tener una idea de cuán no insignificante podría ser. Para una mayor promoción de los intervalos de confianza, consulte Cumming ⁽²⁰¹⁴^{, 2013)} .

_{Referencias

: Cumming, G. (2013). Comprensión de las nuevas estadísticas: tamaños de efectos, intervalos de confianza y metanálisis . Routledge.

- Cumming, G. (2014). Las nuevas estadísticas: por qué y cómo. Ciencia psicológica, 25 (7), 7–29. Recuperado de http://pss.sagepub.com/content/25/1/7.full.pdf+html .}

— Nick Stauner
fuente

Gracias, estoy muy familiarizado con el trabajo de Cumming. Supongo que mi pregunta era más a lo largo de las líneas de, "si el punto ES estimación es significativa, entonces puede el IC usarse para la inferencia (o son 'nulo', es decir, inútil como la estimación puntual)?"

— ATJ

1

@ATJ: Ni la estimación puntual ni los intervalos de confianza ( ) para un parámetro se vuelven "inútiles" cuando no son significativamente diferentes de cero (en el nivel ) o contienen cero respectivamente.

1 - α

$1-\alpha$

α

$\alpha$

— Scortchi - Restablece a Monica

@ATJ: Como dije, el significado [/ utilidad] de un IC no cambia en función de la importancia de cualquier NHST. Un IC es probablemente más útil para la inferencia que un NHST en general ... representa una buena idea de cuál es realmente el parámetro. Por ejemplo, acabo de ejecutar cor.test(rnorm(9999999),rnorm(9999999))y obtuve un CI de . Por lo tanto, infiero que cuando lo vuelva a ejecutar, tengo un 95% de probabilidades de obtener una nueva estimación dentro de ese rango. Al ejecutarlo nuevamente, mi estimación fue ; ¡Mi inferencia basada en CI fue correcta! La nula pasa a ser de construcción, pero mis pruebas favorecería mi estimación lugar ...

{- 0.00063, 0.00060}

$\{-0.00063,0.00060\}$

r = 0.00029

$r=0.00029$

— Nick Stauner