¿Cuál podría ser una definición clara y práctica para una "familia de hipótesis" (con respecto a la tasa de error familiar)?

Al intentar evaluar lo que constituye una familia de hipótesis dentro de un experimento / proyecto / análisis, he encontrado "similar en propósito" y "similar en contenido" dados como pautas para delimitar familias, pero estos dejan bastante abierto a la interpretación ( por decir lo menos).

Parece claro que si en el curso de un análisis, hago varias pruebas de medias grupales y un lote separado de pruebas de homogeneidad de proporciones, no agruparía todo en una sola familia de hipótesis.

Sin embargo, si tengo varios lotes de pruebas de medias grupales algo relacionadas, ¿qué criterio los une en una familia (o los divide en familias separadas)? ¿Deberían todos los miembros de una familia tener la misma variable de respuesta? Si tuviera diferentes variables de respuesta pero el mismo conjunto de casos involucrados, ¿se agruparían todos en una familia de hipótesis?

El tema de las comparaciones múltiples es un tema realmente grande. Ha habido muchas opiniones y muchos desacuerdos. Esto se debe a muchas cosas; entre otros, es en parte porque el tema es realmente importante y en parte porque realmente no existe una regla o criterio final. Tome un caso prototípico: realiza un experimento con tratamientos y obtiene un ANOVA significativo, por lo que ahora se pregunta qué tratamiento significa diferir. ¿Cómo debe hacer esto, ejecutar t-tests? Aunque estas pruebas mantendrían individualmente en .05, la '' familiar ' (es decir, la probabilidad de que ocurra al menos 1 error tipo I) explotará. De hecho, la tasa de error familiar será$k$$k(k-1)/2$$\alpha$$\alpha$$1-(1-\alpha)^k$. La pregunta es, ¿qué define a una 'familia'? Y no hay una respuesta definitiva, más allá de la trivial de que una 'familia' es un conjunto de contrastes. Si una serie particular de contrastes debe considerarse una familia es una decisión subjetiva. Los análisis 3, 17 y 42 que realicé en mi vida son un conjunto de contrastes, y podría haber ajustado mi umbral para asegurar que la probabilidad de errores de tipo I entre ellos se mantuviera en 5%, pero nadie encontraría esto sensual. La pregunta para usted es si considera que sus contrastes son un conjunto en un sentido significativo, y solo usted puede hacer ese juicio. Ofreceré algunos enfoques estándar. Muchos analistas creen que si un conjunto de contrastes proviene del mismo conjunto de experimento / datos, deben ser tratados como una familia,$\alpha$$\alpha$ ajuste ) son necesarios. Otros creen que incluso cuando los contrastes provienen del mismo experimento, si son a priori y ortogonales, no se requieren procedimientos especiales. Ambas posiciones pueden ser defendidas. Finalmente, tenga en cuenta también que los procedimientos para controlar las tasas de error familiares tienen un costo, a saber. Aumento de las tasas de error tipo II.

El criterio es que las hipótesis son interdependientes en el sentido de que si una de ellas se rompe, entonces toda su conclusión o teoría se rompe. Por lo tanto, necesita una garantía de que si todas las pruebas son significativas, ninguna de ellas es falsa.

Una discusión sobre researchgate ( http://www.researchgate.net/post/Bonferroni-how_is_the_family_of_hypotheses_defined ) proporcionó una lista de documentos, lo que podría ayudar a recopilar opiniones: los documentos realmente comienzan desde la pregunta "cuándo aplicar correcciones en una situación de prueba múltiple ". Los documentos, todos citados a menudo, son:

1) Rothman KJ. No se necesitan ajustes para comparaciones multiples. Epidemiología, 1990; 1 (1): 43-6. http://psg-mac43.ucsf.edu/ticr/syllabus/courses/9/2003/02/27/Lecture/readings/Rothman.pdf

2) Perneger TV. ¿Qué hay de malo con los ajustes de Bonferroni? BMJ. 1998; 316 (7139): 1236-8. http://static.sdu.dk/mediafiles/D/1/F/%7BD1F06030-8FA7-4EE2-BB7D-60D683B18EAA%7DWhat_s-wrong%20_with_Bonferroni_adjustments.BMJ.1998.pdf

3) Bender R, Lange S. Ajuste para pruebas múltiples: ¿cuándo y cómo? J Clin Epidemiol. 2001; 54: 343-9. http://www.rbsd.de/PDF/multiple.pdf

Resumen:

1) y 2) se centran en "todas las hipótesis nulas son verdaderas", llamada la hipótesis nula general. Se puede rechazar de manera más adecuada (es decir, sin acumulación alfa) si se aplican ajustes para comparaciones múltiples. Sin embargo, tanto 1) como 2) se oponen a que la hipótesis nula general rara vez se usa por completo en el proceso de investigación científica, por lo que el criterio de "teoría completa se rompe" no se aplica automáticamente, cuando una / algunas de las hipótesis nulas en los datos de uno Los análisis son rechazados por casualidad. 1) agrega, que es ingenuo pensar en hipótesis nulas únicas, que fueron (falsamente) rechazadas, nunca serán revisadas por la comunidad científica nuevamente.

3) establece que una vez que las hipótesis individuales se funden en un argumento, los ajustes deben hacerse.

Desde mi punto de vista 1), 2), 3) juntos simplemente reflejan, cuán cuidadosamente debemos tener el criterio de "toda la teoría se rompe". Tampoco hay una manera de poner todas las hipótesis nulas en una gran salchicha, ni una forma de confiar en las rebanadas de la salchicha presentadas como muchas hipótesis únicas. Aquí es donde el trabajo empírico realmente se encuentra con el trabajo con la teoría del dominio bajo investigación.