Bonferroni o Tukey? ¿Cuándo aumenta el número de comparaciones?

Lectura de estadísticas de descubrimientos de campo utilizando SPSS (3ª edición) Me sorprendió un poco acerca de las pruebas post-hoc en ANOVA. Para aquellos que quieran controlar la tasa de error Tipo I, sugiere Bonferroni o Tukey y dice (p. 374):

Bonferroni tiene más poder cuando el número de comparaciones es pequeño, mientras que Tukey es más poderoso cuando se prueban grandes cantidades de medios.

¿Dónde debe trazarse la línea entre un pequeño y gran número de medios?

— Parbury
fuente

Al final de la siguiente página web de NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm, se recomienda que se realicen ambas pruebas y se tome el menor de los dos intervalos. He encontrado comentarios similares en Johnson y Wichern sobre hacer MANOVA.

— schenectady

@schenectady ¡Buena respuesta! ¿Por qué no lo pegas en una respuesta? Por cierto, el enlace está dañado en su comentario; el correcto es itl.nist.gov/div898/handbook/prc/section4/prc473.htm .

— whuber

Primero, un breve punto: el poder está directamente relacionado con la tasa de error Tipo II, no con el Tipo I. Ahora perdóname pero voy a decir algunas opiniones. Es posible que lo que estás haciendo sea visto como "jugar al sistema", tratando de manipularlo para que más resultados se clasifiquen como sig. o no Estos juicios binarios son mucho menos informativos y potencialmente mucho más engañosos que los informes de los tamaños de efectos reales, en su caso, con respecto a las diferencias de grupo en las medias. Me gusta ver a las personas usar valores p para adornar los resultados en lugar de estructurarlos. Fin del editorial: ¡discuta!

— rolando2

"En la parte inferior de la siguiente página web de NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm , se recomienda que se realicen ambas pruebas y se tome el menor de los dos intervalos Encontré comentarios similares en Johnson y Wichern sobre hacer MANOVA. @Schenectady 11 de abril de 11 a 12:31 "Esto se considera minería de datos y no debe hacerse. La elección de tukey vs. Bonferroni debe hacerse antes del análisis.

La documentación en línea de Minitab parece ofrecer consejos similares support.minitab.com/en-us/minitab/17/topic-library/…

— N Brouwer

Además del enlace útil mencionado en los comentarios de @schenectady.

También agregaría el punto de que la corrección de Bonferroni se aplica a una clase más amplia de problemas. Hasta donde sé, el HSD de Tukey solo se aplica a situaciones en las que desea examinar todas las comparaciones por pares posibles, mientras que la corrección de Bonferroni se puede aplicar a cualquier conjunto de pruebas de hipótesis.

En particular, la corrección de Bonferroni es útil cuando tiene un pequeño conjunto de comparaciones planificadas y desea controlar la tasa de error tipo I familiar. Esto también permite comparaciones compuestas. Por ejemplo, tiene un ANOVA de 6 vías y desea comparar el promedio de los grupos 1, 2 y 3 con el grupo 4, y desea comparar el grupo 5 con 6.

Para ilustrar más, podría aplicar la corrección de Bonferroni para evaluar la importancia de las correlaciones en una matriz de correlación, o el conjunto de efectos principales y de interacción en un ANOVA. Sin embargo, dicha corrección generalmente no se aplica, presumiblemente por la razón de que la reducción en la tasa de error Tipo I da como resultado una reducción inaceptable en la potencia.

— Jeromy Anglim
fuente

es curioso si tiene citas para: "Sin embargo, dicha corrección generalmente no se aplica, presumiblemente por la razón de que la reducción en la tasa de error Tipo I resulta en una reducción inaceptable en el poder". ¡Gracias una tonelada!

Bienvenido al sitio. Esto debe publicarse como un comentario, no como una respuesta.

— Peter Flom - Restablece a Monica

@Jessica. No, no tengo una cita para ese reclamo. Pero es bastante fácil de mostrar a través de simulación, fórmulas o incluso un conocimiento básico de los factores que afectan el poder estadístico (es decir, tales factores incluyen alfa).

— Jeromy Anglim