En un metanálisis, ¿cómo se deben manejar los estudios no significativos que no contienen datos sin procesar?

Digamos que estoy realizando un metanálisis, observando el desempeño del grupo A y el grupo B con respecto a un determinado constructo. Ahora, algunos de los estudios que veré informarán que no se pudieron encontrar diferencias estadísticas entre los dos grupos, pero no se presentarán estadísticas exactas de prueba y / o datos sin procesar. En un metanálisis, ¿cómo debo manejar tales estudios?

Básicamente, veo tres alternativas diferentes aquí:

1. Inclúyalos todos y asigne a cada uno un tamaño de efecto de 0.
2. Tíralos a todos.
3. Haga algún tipo de análisis de poder para cada uno de ellos o establezca un umbral en un cierto número de participantes. Incluya todo lo que debería haber sido capaz de alcanzar significación estadística y asigne a cada uno un tamaño de efecto de 0. Tire el resto.

Puedo ver los méritos con todas las diferentes opciones. La opción uno es bastante conservadora y solo correrá el riesgo de cometer un error de tipo II. La opción dos aumenta el riesgo de cometer un error tipo I, pero también evita que sus resultados se arruinen debido a un montón de estudios con poca potencia. La opción tres parece ser el camino intermedio entre la opción uno y la opción dos, pero habrá que hacer muchos supuestos y / o conjeturas puras (¿en qué tamaño del efecto debería basar sus análisis de poder? ¿En qué número de participantes debería exigir a cada uno?) estudiar para que pase?), probablemente haciendo que el resultado final sea menos confiable y más subjetivo.

Como señala, hay ventajas con los tres enfoques. Claramente, no hay una opción que sea 'mejor'. ¿Por qué no hacer los 3 y presentar los resultados como un análisis de sensibilidad?

Un metanálisis realizado con análisis de sensibilidad amplios y apropiados solo muestra que el autor conoce bien los límites de los datos disponibles, hace explícita la influencia de las elecciones que tomamos al realizar un metanálisis y es capaz de evaluar críticamente las consecuencias. Para mí, esa es la marca del metanálisis bien realizado.

Cualquiera que haya realizado un metanálisis sabe muy bien que hay muchas elecciones y decisiones que tomar en el camino y que esas elecciones y decisiones pueden tener una influencia considerable en los resultados obtenidos. La ventaja de un metanálisis (o más generalmente, una revisión sistemática) es que los métodos (y, por lo tanto, las elecciones y decisiones) se hacen explícitos. Y uno puede evaluar su influencia de manera sistemática. Así es exactamente cómo se debe realizar un metanálisis.

Estos son los pasos que seguiría (y que enseño a mis alumnos):

1) Póngase en contacto con los autores de la investigación original. Sea cortés y solicite estimaciones de efectos exactos para usar en su metanálisis. Lo peor que puede pasar es que no respondan o se nieguen a darle la información. El mejor de los casos es que obtenga la información exacta que estaba buscando.

2) Si tiene valores p exactos, a menudo puede volver a calcular SD con cierto grado de certeza.

3) Haces algún tipo de imputación. Esto podría estar usando 'tomar prestado' la estimación del efecto de ensayos de tamaño similar, SD más grande en el metanálisis, SD de estudios similares en el mismo metanálisis, opinión de expertos, etc. Hay muchas maneras de imputar los datos faltantes, algunos más científicamente correcto que otros, pero lo más importante es que tiene muy claro lo que hizo y realizar un análisis de sensibilidad para determinar el efecto de la (s) imputación (es) en la estimación del efecto combinado.

3) Pones los estudios en el metanálisis con los datos faltantes. El programa (por ejemplo, RevMan) no dará a estos estudios ningún peso en el análisis porque no podrá calcular la estimación del efecto y la varianza para ese estudio, pero podrá mostrar visualmente que hubo estudios adicionales con datos parciales. que no formaban parte del cálculo agrupado.

4) No incluye datos de estos estudios.

Elige tu veneno ...