¿Es la ponderación basada en la precisión (es decir, la varianza inversa) integral para el metanálisis?

¿La ponderación basada en la precisión es central para el metanálisis? Borenstein y col. (2009) escriben que para que el metanálisis sea posible, todo lo que se necesita es que:

1. Los estudios informan una estimación puntual que se puede expresar como un solo número.
2. La varianza se puede calcular para esa estimación puntual.

No me queda claro de inmediato por qué (2) es estrictamente necesario. Pero, de hecho, todos los métodos de metanálisis ampliamente aceptados se basan en esquemas de ponderación basados ​​en la precisión (es decir, la varianza inversa), que requieren una estimación de la varianza para el tamaño del efecto de cada estudio. Tenga en cuenta que si bien el método de Hedges (Hedges y Olkin, 1985; Hedges y Vevea, 1998) y el método de Hunter y Schmidt (Hunter y Schmidt, 2004) utilizan básicamente la ponderación del tamaño de la muestra, estos métodos se aplican solo a las diferencias de medias normalizadas y, por lo tanto, requieren una desviación estándar en otra parte. Tiene sentido que los pesos inversamente proporcionales a la varianza en cada estudio minimicen la varianza en el estimador general del tamaño del efecto, entonces, ¿es este esquema de ponderación una característica requerida de todos los métodos?

¿Es posible realizar una revisión sistemática sin acceso a la varianza para cada tamaño de efecto y aún así llamar al resultado un metanálisis? El tamaño de la muestra parece tener potencial como proxy de precisión cuando la varianza no está disponible. ¿Podría uno, por ejemplo, utilizar la ponderación del tamaño de la muestra en un estudio en el que el tamaño del efecto se definió como la diferencia de medias brutas? ¿Cómo afectaría eso a la consistencia y eficiencia del tamaño del efecto medio resultante?

La pregunta es difícil de responder, porque es muy indicativa de una confusión general y una situación confusa en gran parte de la literatura metaanalítica (el OP no tiene la culpa aquí; es la literatura y la descripción de los métodos , modelos y supuestos que a menudo es un desastre).

Pero para resumir: no, si desea combinar un montón de estimaciones (que cuantifican algún tipo de efecto, un grado de asociación u otro resultado que se considere relevante) y es sensato combinar esos números, entonces podrías tomar su promedio (no ponderado) y eso estaría perfectamente bien. No hay nada de malo en eso y, según los modelos que normalmente asumimos cuando realizamos un metanálisis, esto incluso le da una estimación imparcial (suponiendo que las estimaciones en sí mismas sean imparciales). Entonces, no, no necesita las variaciones de muestreo para combinar las estimaciones.

Entonces, ¿por qué la ponderación de varianza inversa es casi sinónimo de hacer un metanálisis? Esto tiene que ver con la idea general de que atribuimos más credibilidad a los estudios grandes (con variaciones de muestreo más pequeñas) que a los estudios más pequeños (con variaciones de muestreo más grandes). De hecho, bajo los supuestos de los modelos habituales, el uso de la ponderación de varianza inversa conduce al estimador imparcial de varianza mínima uniforme(UMVUE) - bueno, más o menos, asumiendo nuevamente estimaciones imparciales e ignorando el hecho de que las variaciones de muestreo a menudo no se conocen exactamente, pero se estiman por sí mismas y en modelos de efectos aleatorios, también debemos estimar el componente de varianza para la heterogeneidad, pero luego lo tratamos como una constante conocida, lo cual tampoco es del todo correcto ... pero sí, de alguna manera obtenemos el UMVUE si usamos la ponderación de varianza inversa si entrecerramos los ojos con mucha fuerza e ignoramos algunos de estos cuestiones.

Entonces, lo que está en juego aquí es la eficiencia del estimador, no la imparcialidad en sí. Pero incluso un promedio no ponderado a menudo no será mucho menos eficiente que usar un promedio ponderado de varianza inversa, especialmente en modelos de efectos aleatorios y cuando la cantidad de heterogeneidad es grande (en cuyo caso el esquema de ponderación habitual conduce a pesos casi uniformes ¡de todas formas!). Pero incluso en modelos de efectos fijos o con poca heterogeneidad, la diferencia a menudo no es abrumadora.

Y como usted menciona, uno también puede considerar fácilmente otros esquemas de ponderación, como la ponderación por tamaño de muestra o alguna función de los mismos, pero nuevamente, esto es solo un intento de obtener algo cercano a los pesos de varianza inversa (dado que las variaciones de muestreo son, por ejemplo, en gran medida, determinado por el tamaño de la muestra de un estudio).

Pero realmente, uno puede y debe 'desacoplar' el problema de los pesos y las variaciones por completo. Son realmente dos piezas separadas en las que uno tiene que pensar. Pero no es así como se presentan las cosas en la literatura.

Sin embargo, el punto aquí es que realmente necesitas pensar en ambos. Sí, puede tomar un promedio no ponderado como su estimación combinada y eso sería, en esencia, un metanálisis, pero una vez que desee comenzar a hacer inferencias basadas en esa estimación combinada (por ejemplo, realizar una prueba de hipótesis, construir un intervalo de confianza ), debe conocer las variaciones de muestreo (y la cantidad de heterogeneidad). Piénselo de esta manera: si combina un grupo de estudios pequeños (y / o muy heterogéneos), su estimación puntual será mucho menos precisa que si combina el mismo número de estudios muy grandes (y / u homogéneos) estudios, independientemente de cómo sopesó sus estimaciones al calcular el valor combinado.

En realidad, incluso hay algunas formas de no conocer las variaciones de muestreo (y la cantidad de heterogeneidad) cuando comenzamos a hacer estadísticas inferenciales. Se pueden considerar métodos basados ​​en el remuestreo (p. Ej., Bootstrapping, pruebas de permutación) o métodos que producen errores estándar consistentes para la estimación combinada incluso cuando especificamos incorrectamente partes del modelo, pero qué tan bien pueden funcionar estos enfoques debe evaluarse cuidadosamente en un caso por caso.

Si conoce algunos de los errores estándar pero no todos, aquí hay una solución:

(1) suponga que la SE desconocida se extrae aleatoriamente de la misma distribución que las SE conocidas o deje que la distribución de la SE de las estimaciones de los documentos con SE desconocida sea una variable libre. Si quiere ser elegante, puede usar el promedio de modelos sobre estas opciones.

(2) estimación a través de la máxima probabilidad

Si su estudio con SE desconocido es "atípico", el modelo explicará la anomalía en una combinación de estas formas:

(a) el estudio probablemente tuvo un alto SE para su estimación (el estudio probablemente tiene baja potencia)

(b) el estudio probablemente tiene un gran componente de efecto aleatorio (el investigador eligió un conjunto de datos o método, etc., lo que da un resultado atípico)

En efecto, este modelo reducirá la precisión efectiva de la estimación con SE desconocido a medida que se vuelve más anómalo. A este respecto, es muy robusto a la inclusión de "valores atípicos". Al mismo tiempo, si agrega muchos estudios con varianza desconocida pero con resultados típicos, la SE o su estimación final caerán.