¿Cómo detectar cuál es el mejor estudio cuando te dan resultados contradictorios?

Muy a menudo encuentras en la prensa varios estudios que concluyen resultados direccionalmente opuestos. Esos pueden estar relacionados con la prueba de un nuevo medicamento recetado o el mérito de un nutriente específico o cualquier otra cosa.

Cuando dos de estos estudios llegan a resultados contradictorios, ¿cómo puede saber cuál de los dos está más cerca de la verdad?

Creo que la respuesta de Jeromy es suficiente si está examinando dos estudios experimentales o un metanálisis real. Pero a menudo nos enfrentamos a examinar dos estudios no experimentales, y tenemos la tarea de evaluar la validez de esos dos hallazgos dispares.

Como sugiere la lista de preguntas de Cyrus , el tema en sí no es susceptible de una respuesta breve, y los libros enteros están esencialmente destinados a abordar dicha pregunta. Para cualquier persona interesada en realizar investigaciones sobre datos no experimentales, le recomiendo que lea

Diseños experimentales y cuasiexperimentales para inferencia causal generalizada por William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (También he escuchado que las versiones anteriores de este texto son igual de buenas).

Varios elementos a los que Jeromy se refirió (tamaños de muestra más grandes y mayor rigor metodológico), y todo lo que Cyrus menciona se consideraría lo que Campbell y Cook denominan "Validez interna". Estos incluyen aspectos del diseño de la investigación y los métodos estadísticos utilizados para evaluar la relación entre X e Y. En particular, como críticos, nos preocupan los aspectos que podrían sesgar los resultados y disminuir la confiabilidad de los hallazgos. Como este es un foro dedicado al análisis estadístico, muchas de las respuestas se centran en métodos estadísticos para garantizar estimaciones imparciales de cualquier relación que esté evaluando. Pero hay otros aspectos del diseño de la investigación no relacionados con el análisis estadístico que disminuyen la validez de los hallazgos, sin importar qué tan riguroso sea el análisis estadístico (como la mención de Cyrus de varios aspectos de la fidelidad del experimento puede abordarse pero no resolverse con métodos estadísticos, y si ocurren siempre disminuirá la validez de los resultados de los estudios). Hay muchos otros aspectos de la validez interna que se vuelven cruciales para evaluar al comparar resultados de estudios no experimentales que no se mencionan aquí, y aspectos de los diseños de investigación que pueden distinguir la confiabilidad de los hallazgos. No creo que sea muy apropiado entrar en demasiados detalles aquí,

Campbell y Cook también se refieren a la "validez externa" de los estudios. Este aspecto del diseño de la investigación es a menudo mucho más pequeño y no merece tanta atención como la validez interna. La validez externa se ocupa esencialmente de la generalización de los hallazgos, y diría que los legos a menudo pueden evaluar la validez externa razonablemente bien, siempre y cuando estén familiarizados con el tema. Larga historia corta leída el libro de Shadish, Cook y Campbell.

La literatura de metaanálisis es relevante para su pregunta. Mediante el uso de técnicas metaanalíticas, podría generar una estimación del efecto del interés agrupado entre los estudios. Dichas técnicas suelen pesar los estudios en términos de su tamaño de muestra.

Dentro del contexto del metaanálisis, los investigadores hablan sobre modelos de efectos fijos y de efectos aleatorios (ver Hunter y Schmidt, 2002 ). Un modelo de efectos fijos supone que todos los estudios estiman el mismo efecto de población. Un modelo de efectos aleatorios supone que los estudios difieren en el efecto de la población que se estima. Un modelo de efectos aleatorios suele ser más apropiado.

A medida que se acumulan más estudios sobre una relación particular, se hacen posibles enfoques más sofisticados. Por ejemplo, puede codificar los estudios en términos de varias propiedades, como la calidad percibida, y luego examinar empíricamente si el tamaño del efecto varía con estas características del estudio. Más allá de la calidad puede haber algunas diferencias teóricamente relevantes entre los estudios que moderarían la relación (por ejemplo, características de la muestra, niveles de dosificación, etc.).

En general, tiendo a confiar en los estudios con:

• tamaños de muestra más grandes
• mayor rigor metodológico
• una orientación confirmatoria (p. ej., no un estudio en el que probaron las correlaciones entre 100 nutrientes diferentes y 50 resultados de salud)
• ausencia de conflicto de intereses (por ejemplo, no por una empresa con un interés comercial en mostrar una relación; no por un investigador que tenga un incentivo para encontrar un resultado significativo)

Pero dicho esto, debe mantener un muestreo aleatorio y diferencias teóricamente significativas entre los estudios como una explicación plausible de los resultados de los estudios en conflicto.

Esperaría a considerar el metanálisis hasta que haya examinado las fuentes si existe un posible sesgo o variación en las poblaciones objetivo. Si se trata de estudios de los efectos del tratamiento, ¿se asignó el tratamiento al azar? ¿Hubo desviaciones del protocolo? ¿Hubo incumplimiento? ¿Faltan datos de resultados? ¿Se tomaron muestras del mismo marco? ¿Hubo negativa a participar? Errores de implementación? ¿Se calcularon correctamente los errores estándar, teniendo en cuenta el agrupamiento y robusto a varios supuestos paramétricos? Solo después de haber respondido estas preguntas, creo que los problemas de metanálisis comienzan a entrar en escena. Debe ser raro que para cualquiera de los dos estudios el metanálisis sea apropiado, a menos que esté dispuesto a hacer suposiciones heroicas.