Antecedentes:
me gustaría llevar a cabo una meta-regresión utilizando estudios que tengan (1) varios resultados / constructos (= multivariante) y (2) tamaños de efectos múltiples para cada uno de estos resultados debido a diferentes medidas. Aquí hay un esquema que, con suerte, lo explica mejor:
- Estudio 1, Resultado A, Tamaño del efecto 1
- Estudio 1, Resultado A, Tamaño del efecto 2
- Estudio 1, Resultado B, Tamaño del efecto 3
- Estudio 2, Resultado A, Tamaño del efecto 4
- Estudio 2, Resultado C, Tamaño del efecto 5
- Estudio 2, Resultado C, Tamaño del efecto 6
- ...
Los estudios comparan las medias de dos grupos en diferentes resultados y los tamaños de los efectos son g de Hedge.
Un ejemplo práctico sería "Memoria de trabajo" que se puede dividir en diferentes resultados (Baddeley, 1974), por ejemplo, "Bucle fonológico", "Bloc de dibujo visoespacial" o "Ejecutivo central".
Por ejemplo, el Estudio 1 evalúa el "bucle fonológico" (Resultado A) con dos medidas diferentes (= Tamaño del efecto 1 y 2) y el "Ejecutivo central" (Resultado B) con una medida (= Tamaño del efecto 3).
Problema:
un enfoque multivariado adecuado requiere conocer cada correlación entre los tamaños del efecto y los resultados para estimar las covarianzas. Sin embargo, no sé (1) las correlaciones entre diferentes tamaños de efectos dentro del mismo estudio y (2) las correlaciones entre los resultados de diferentes estudios. Puedo estimarlos o tratar de encontrar al menos algunas correlaciones para trabajar, pero eso significaría mucha búsqueda adicional de literatura que me gustaría evitar.
Solución (hasta ahora):
Encontré algunos métodos que tratan problemas similares.
La estimación robusta de la varianza (Hedges, 2010) es un buen enfoque para tratar con múltiples tamaños de efectos. Sin embargo, todavía tengo que adivinar una correlación y realizar un análisis de sensibilidad y tampoco parece posible comparar varios resultados (es decir, solo una metarregresión univariada).
El enfoque multinivel de Van den Noorgate (2014) es prometedor ya que no requiere estimar ninguna correlación al permitir la variación entre los tamaños del efecto y entre los tamaños del efecto dentro de los estudios. Se describe un metanálisis multivariado multinivel (= resultados diferentes y tamaños de efectos múltiples como en el esquema anterior) y una metarregresión univariada multinivel (= tamaños de efectos múltiples pero sin diferenciación entre los resultados).
Usando el paquete metafor en R, me pregunto si puedo combinar ambos enfoques multinivel y realizar una meta-regresión multivariada multinivel. Los ejemplos para un metanálisis multinivel y una metarregresión multivariada usando metafor se dan aquí http://www.metafor-project.org/doku.php/analyses:konstantopoulos2011 (multinivel) y aquí http: //www.metafor- project.org/doku.php/analyses:berkey1998 (multivariante). (Tenga en cuenta que el ejemplo multinivel vinculado anteriormente en realidad describe un enfoque para tratar las dependencias jerárquicas (por ejemplo, estudios realizados por el mismo laboratorio de investigación). En su lugar, uso el enfoque multinivel descrito por Van den Noorgate).
Variables:
ES: Tamaños de efectos (Hedge's g)
VI: Varianza de los tamaños de efectos
Pub_Year: Año de publicación como predictor en la meta-regresión
ES_ID: Cada tamaño de efecto tiene una ID única, independientemente del estudio o resultado al que pertenezcan.
ID de resultado : Los mismos resultados tienen la misma ID (por ejemplo, "Bucle fonológico" = 1, "Ejecutivo central" = 2), independientemente del estudio al que pertenezcan.
Study_ID: los tamaños de efecto del mismo estudio tienen la misma ID (por ejemplo, tamaños de efecto del estudio 1 = 1, tamaños de efecto del estudio 2 = 2), independientemente del resultado al que pertenezcan.
R-Code en metafor para el metaanálisis multivariado multinivel:
rma.mv (ES, VI, mods = ~ Result_ID -1, random = list (~ 1 | Study_ID, ~ 1 | ES_ID), data = data.set)
- mods = ~ Result_ID -1 requiere un enfoque multivariado y enumera los tamaños de efecto promedio para cada resultado.
- random = list (~ 1 | Study_ID, ~ 1 | ES_ID) es el enfoque multinivel descrito por Van den Noorgate. Permite una variación aleatoria entre los tamaños del efecto dentro de los estudios (~ 1 | Study_ID) y entre los tamaños del efecto (~ 1 | ES_ID). También puede realizar este análisis utilizando el paquete metaSEM. Los resultados son idénticos.
Código R en metafor para la meta-regresión multivariada multinivel:
rma.mv (ES, VI, mods = ~ ID_de_producto + Resultado: I (Promedio_año_publico (Año_Pub)) -1, aleatorio = lista (~ 1 | ID_Estudio, ~ 1 | ES_ID), data = data.set)
- mods = ~ Result_ID + Resultado: I (Pub_Year-mean (Pub_Year)) -1 ahora requiere una meta-regresión multivariada con el Año de publicación centrado alrededor de la media como predictor.
El uso de la opción profile () en metafor los Gráficos de probabilidad de perfil se ve bien. Sin embargo, todavía me pregunto si no parametrizo demasiado el modelo o si hay algo mal al combinar los mods y los argumentos aleatorios de esta manera.
Esperamos su opinión, sugerencias, ideas, otros enfoques, todo ;-) ¡Gracias!
Actualización, respuesta a la respuesta de Wolfgang:
En primer lugar: muchas gracias por su respuesta detallada y los enlaces adicionales que ha proporcionado. No sabía sobre la lista de correo de modelos mixtos R-sig. ¡Así que gracias! Te lo agradezco mucho.
Permítanme intentar resumir todo y adaptarlo a mi situación para ver si entiendo las cosas aquí. Puedo hacer lo siguiente:
Obtención de correlaciones: lamentablemente no se informan correlaciones. Inicialmente, el metanálisis consistió en más de 50 estudios. Casi la mitad de los estudios tenían datos faltantes o no informados. Se contactó con cada autor de estos estudios y recibí 4 respuestas de 26 solicitudes (después de 2 meses de espera). Pero ese es un problema general de informes que no se debe discutir aquí.
Si hago una suposición aproximada de todas las correlaciones que puedo:
Llevar a cabo un metanálisis multivariado y una metarregresión como en Berkey et al. (1998) ejemplo y hacer un análisis de sensibilidad.
Utilice este modelo de metaanálisis multivariado ajustado y trabaje con la función robusta (). Sin embargo, ninguna meta-regresión basada en la función robusta () parece posible en metafor. Y la función robusta () descrita en el blog de James Pustejovsky solo funciona con meta-regresiones univariadas. Entonces, si lo entiendo bien, las estimaciones de la función robusta () son más o menos para confirmar las estimaciones de mi modelo ya ajustado (?).
Diríjase directamente a métodos robustos y use el paquete robumeta. Sin embargo, no es posible un metanálisis multivariado. Encontré un código SASpara manejar este problema. Pero el código se desarrolló hace 3 años y parece que nunca se discutió realmente. Al final, cuando uso robumeta, tengo que resumir muchos resultados diferentes en un gran metanálisis o tengo que realizar varios metanálisis univariados para cada resultado que me gustaría evitar.Si no quiero adivinar ninguna correlación, puedo seguir el enfoque multinivel descrito por Van den Noorgate usando metafor, metaSEM o SAS. Sin embargo, existen algunas limitaciones al usar este enfoque en comparación con un enfoque multivariado basado en correlaciones. Además, no estoy seguro de si es posible una meta-regresión multivariada multinivel. El paquete metaSEM solo describe un metanálisis multivariado multinivel o una metarregresión univariada multinivel.
Lamentablemente, no estoy tan familiarizado con el uso de métodos de remuestreo en el metanálisis. He estudiado sus ejemplos, pero no estoy seguro de cómo puede ayudarme a resolver el problema de "correlación / multivariante". ¿Quiere decir que debería intentar estimar las correlaciones usando bootstrapping? Y si es así, no estoy seguro de qué valores deberían correlacionarse, ya que el número de medias o tamaños de efectos dentro y entre los estudios difiere.
La simplificación del modelo descrito por Riley y sus colegas suena interesante. Lo tengo en cuenta, aunque me gustaría trabajar con uno de los métodos descritos anteriormente.
robust()
los rma.mv
modelos que escribió en su pregunta (con Study_ID
la variable de agrupación). Dado que estos modelos suponen errores de muestreo independientes, están mal especificados. El enfoque robusto le dará resultados consistentes incluso cuando la parte de la matriz de varianza-covarianza del modelo esté mal especificada.