¿Post-hocs para pruebas dentro de las asignaturas?

20

¿Cuál es el método preferido para realizar post-hocs para pruebas dentro de las asignaturas? He visto trabajos publicados en los que se emplea el HSD de Tukey, pero una revisión de Keppel y Maxwell & Delaney sugiere que la probable violación de la esfericidad en estos diseños hace que el término de error sea incorrecto y este enfoque sea problemático. Maxwell y Delaney proporcionan un enfoque del problema en su libro, pero nunca lo he visto así en ningún paquete de estadísticas. ¿Es apropiado el enfoque que ofrecen? ¿Sería razonable una corrección de Bonferroni o Sidak en múltiples pruebas t de muestras pareadas? Una respuesta aceptable proporcionará un código R general que puede realizar post-hocs en diseños simples, de múltiples vías y mixtos, tal como los produce la ezANOVAfunción en el ezpaquete, y las citas apropiadas que probablemente pasarán a los revisores.

— russellpierce
fuente

1

Este artículo de David Howell explica los problemas y varias soluciones.

— Harvey Motulsky

al aceptar la respuesta usando el paquete multcomp, ¿podría explicar un poco cómo finalmente usó multcomp. ¿Lo está utilizando con el lmeo la lmerfunción o con algunos de los métodos más tradicionales como el t-test o ANOVA (ya que actualmente estoy tratando de usarlo con ANOVA).

— Henrik

Acepté la respuesta de varias respuestas principalmente porque no estoy completamente satisfecho con las técnicas de ajuste del valor p que la comunidad seleccionó como la respuesta "correcta". Lo miré y parecía prometedor, pero no investigé más. Me interesaría saber más sobre lo que está intentando y lo que está descubriendo.

— russellpierce

Encontré una manera de especificar un ANOVA de medidas repetidas usando lme, vea los comentarios a la respuesta aceptada: stats.stackexchange.com/q/14088/442 Con un objeto de clase lmeque puede usar multcomppara efectos dentro del tema. Ofrece diferentes tipos de ajuste de error alfa, pero principalmente aquellos que no le gustan especialmente (como el que propuse que fue votado como "correcto" por la comunidad). Además de la viñeta, también hay un libro multcompque explica todos los métodos. Si desea post-hocs sin ajuste, use fit.contrastdesde gmodelo el nuevo contrastpaquete.

— Henrik

¿Sigue interesado en una solución para la ezANOVAfunción? Si es así, creo que puedo responder esa Q, pero la A se basaría en pruebas para modelos univariados para los que la esfericidad es una suposición crítica. Si no necesita que la A esté limitada a los cálculos ANOVA del ezpaquete, podría dar una A que use modelos multivariados para las pruebas post-hoc.

— statmerkur

7

Eche un vistazo al paquete multicomp y su viñeta Inferencia simultánea en modelos paramétricos generales . Creo que debería hacer lo que quiera y la viñeta tiene muy buenos ejemplos y referencias extensas.

— Matti Pastell
fuente

21

Actualmente estoy escribiendo un artículo en el que tengo el placer de realizar comparaciones entre sujetos y dentro de ellos. Después de conversar con mi supervisor, decidimos ejecutar t -tests y usar el bastante simple Holm-Bonferroni method( wikipedia ) para corregir la acumulación de errores alfa. Controla la tasa de error familiar pero tiene un poder mayor que el procedimiento ordinario de Bonferroni. Procedimiento:

Ejecutas las pruebas t para todas las comparaciones que quieras hacer.
Ordena los valores p según su valor.
Usted prueba el valor p más pequeño contra alfa / k , el segundo más pequeño contra alfa / ( k - 1), y así sucesivamente hasta que la primera prueba no sea significativa en esta secuencia de pruebas.

Cite Holm (1979) que se puede descargar a través del enlace en wikipedia .

— Henrik
fuente

1

tal vez un ANOVA antes de múltiples pruebas?

— Stan

2

Creo que eso estaba implícito en la respuesta. Realiza las pruebas post-hoc después del ANOVA significativo.

— Henrik

2

@Henrik: Espero no estar golpeando a un caballo muerto aquí ... publicando en una publicación anterior. Así que tengo una pregunta sobre la forma en que ejecutó las pruebas t. ¿Usó la varianza agrupada (del ANOVA) o simplemente realizó pruebas t por pares independientes? La razón por la que pregunto esto es porque intenté usar pairwise.t.test()para hacer comparaciones por pares usando el método Bonferroni o el método Holm-Bonf, pero los resultados difieren drásticamente dependiendo de si uso el SD agrupado o trato cada comparación como un t separado e independiente -prueba. ¡Gracias!

— Alex

2

@Alex: el uso de un enfoque 'protegido' donde las pruebas t solo se realizan después de que un ANOVA significativo implica el uso del término de error agrupado. Sin embargo, debido a que esta no es una opción proporcionada frecuentemente por el software estadístico, las personas tienden a no hacerlo. Además, en la medida en que se viola la esfericidad, es algo cuestionable en primer lugar.

— russellpierce

5

Recuerdo alguna discusión sobre esto en el pasado; No conozco ninguna implementación del enfoque de Maxwell & Delaney, aunque no debería ser demasiado difícil de hacer. Eche un vistazo a " ANOVA de medidas repetidas utilizando R ", que también muestra un método para abordar el problema de la esfericidad en el HSD de Tukey .

También puede encontrar esta descripción de la prueba de interés de Friedman .

— Shane
fuente

Gracias, creo que la prueba de Friedman es interesante, pero no puedo entender cómo está haciendo ese ajuste para el error de Tipo I en el post-hoc. Los comentarios dicen que es una "prueba de Wilcoxon-Nemenyi-McDonald-Thompson", pero nunca había oído hablar de eso antes, ¿podría explicarlo?

— russellpierce

@Shane El primer enlace está muerto :-(

— Adam Ryczkowski

2

Hay DOS opciones para las pruebas F inferenciales en SPSS. Multivariante NO asume esfericidad, por lo tanto, utiliza una correlación por pares diferente para cada par de variables. Las "pruebas de efectos dentro de los sujetos", incluidas las pruebas post hoc, asumen la esfericidad y hacen algunas correcciones por usar una correlación común en todas las pruebas. Estos procedimientos son un legado de los días en que la computación era costosa y son una pérdida de tiempo con las modernas instalaciones informáticas.

Mi recomendación es tomar el ómnibus MULTIVARIADO F para cualquier medida repetida. Luego, realice un seguimiento con la prueba t por pares post hoc, o ANOVA con solo 2 niveles en cada comparación de medidas repetidas si también hay factores entre los sujetos. Haría la simple corrección de bon ferroni de dividir el nivel alfa por el número de pruebas.

También asegúrese de mirar el tamaño del efecto [disponible en el diálogo de opciones]. Los tamaños de efectos grandes que están 'cerca' de significativos pueden ser más dignos de atención [y futuros experimentos] que los efectos pequeños, pero significativos.

Un enfoque más sofisticado está disponible en el procedimiento SPSS MIXED, y también en paquetes menos fáciles de usar [pero gratuitos] como R.

Resumen, en SPSSS, la F multivariada seguida de los postes por pares con Bon Ferroni con Bonferroni debería ser suficiente para la mayoría de las necesidades.

0

Usaré la función R qtukey (1-alfa, medias, df) para hacer CI familiares.

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

$S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} {T tu k mi y_{k, re F} \leq t tu k mi y_{0,05, 4 4, dieciséis}} \\ = {\frac{METRO una X_{1 \leq j_{1}, j_{2} \leq k} {El | ({METRO}_{j_{1}} - {METRO}_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) El |}}{S {mi}_{METRO}} \leq t tu k mi y_{.05, 4 4, dieciséis}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {El | ({METRO}_{j_{1}} - {METRO}_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) El | \leq S {mi}_{METRO} \times t tu k mi y_{.05, 4 4, dieciséis}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

$MS_{Error}$ ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} T tu k mi y_{k, re F} = \frac{METRO una X_{j = 1, 2, ..., k} {z_{j}} - METRO yo {norte}_{j = 1, 2, ..., k} {z_{j}}}{\sqrt{χ_{re F}^{2} / / re F}} \\ = \frac{R una norte sol {mi}_{j = 1, 2, ..., k} {\frac{METRO mi una {norte}_{1 \leq yo \leq norte} {{\tilde{X}}_{yo, j} + ε_{yo, j}} - METRO mi una {norte}_{1 \leq yo \leq norte} {{\tilde{X}}_{yo, j}}}{σ_{METRO mi una {norte}_{1 \leq yo \leq norte} {ε_{yo, j}}}}}}{{\hat{σ}}_{METRO mi una {norte}_{1 \leq yo \leq norte} {ε_{yo, j}}} / / σ_{METRO mi una {norte}_{1 \leq yo \leq norte} {ε_{yo, j}}}} \\ = \frac{R una norte sol {mi}_{j = 1, 2, ..., k} {{METRO}_{j} - (μ_{j} + METRO mi una {norte}_{1 \leq yo \leq norte} {v_{yo}})}}{{\hat{σ}}_{METRO mi una {norte}_{1 \leq yo \leq norte} {ε_{yo, j}}}} \\ = \frac{R una norte sol {mi}_{j = 1, 2, ..., k} {{METRO}_{j} - μ_{j}}}{\sqrt{METRO S_{mi r r o r} / / norte}} \\ = \frac{METRO una X_{1 \leq j_{1}, j_{2} \leq k} {El | ({METRO}_{j_{1}} - {METRO}_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) El |}}{\sqrt{METRO S_{mi r r o r} / / norte}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
fuente