¿Cuándo debería * no * permitir que un efecto fijo varíe entre los niveles de un efecto aleatorio en un modelo de efectos mixtos?

Dada una variable predicha (P), un efecto aleatorio (R) y un efecto fijo (F), uno podría ajustarse a dos * modelos de efectos mixtos ( sintaxis lme4 ):

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

Según tengo entendido, el segundo modelo es el que permite que el efecto fijo varíe entre los niveles del efecto aleatorio.

En mi investigación, típicamente utilizo modelos de efectos mixtos para analizar datos de experimentos realizados en múltiples participantes humanos. Modelo de participante como un efecto aleatorio y manipulaciones experimentales como efectos fijos. Creo que tiene sentido a priori dejar que el grado en que los efectos fijos afecten el rendimiento en el experimento varíe entre los participantes. Sin embargo, tengo problemas para imaginar circunstancias bajo las cuales no debo permitir que los efectos fijos varíen entre niveles de un efecto aleatorio, por lo que mi pregunta es:

¿Cuándo se debe no permitir un efecto fijo para variar a través de los niveles de un efecto aleatorio?

No soy un experto en modelado de efectos mixtos, pero la pregunta es mucho más fácil de responder si se reformula en un contexto de modelado de regresión jerárquica. Por lo tanto, nuestras observaciones tienen dos índices y F i j con índice i que representa a la clase y j miembros de la clase. Los modelos jerárquicos nos permiten ajustar la regresión lineal, donde los coeficientes varían según las clases:$P_{ij}$$F_{ij}$$i$$j$

Esta es nuestra regresión de primer nivel. El segundo nivel de regresión se realiza en los primeros coeficientes de regresión:

cuando sustituimos esto en la regresión de primer nivel obtenemos

Aquí son efectos fijos y$\gamma$ son efectos aleatorios. El modelo mixto estima γ y las variaciones de u .$u$$\gamma$$u$

El modelo que he escrito corresponde a la lmersintaxis

P ~ (1+F|R) + F

Ahora si ponemos sin el término aleatorio obtenemos$\beta_{1i}=\gamma_{01}$

que corresponde a la lmersintaxis

P ~ (1|R) + F

Entonces, la pregunta ahora es cuándo podemos excluir el término de error de la regresión de segundo nivel. La respuesta canónica es que cuando estamos seguros de que los regresores (aquí no tenemos ninguno, pero podemos incluirlos, naturalmente son constantes dentro de las clases) en la regresión de segundo nivel explican completamente la varianza de los coeficientes entre las clases.

Entonces, en este caso particular, si el coeficiente de no varía, o alternativamente la varianza de u 1 i es muy pequeña, deberíamos considerar la idea de que probablemente somos mejores con el primer modelo.$F_{ij}$$u_{1i}$

Nota . Solo he dado una explicación algebraica, pero creo que teniendo en cuenta que es mucho más fácil pensar en un ejemplo particular aplicado.

Puede pensar en un "efecto fijo" como un "efecto aleatorio" con un componente de variación de cero.

Por lo tanto, una respuesta simple de por qué no permitiría que varíe el efecto fijo es evidencia insuficiente para un componente de varianza "suficientemente grande". La evidencia debe provenir tanto de la información previa como de los datos. Esto está en línea con el principio básico de "navaja de afeitar de occam": no haga que su modelo sea más complejo de lo necesario.

Tiendo a pensar en modelos lineales mixtos de la siguiente manera, escribo una regresión múltiple de la siguiente manera:

$X\beta$$Zu$$e$$u\sim N(0,D(\theta))$$\theta$$e\sim N(0,\sigma^{2}I)$$(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$

Compare esto con la regresión de OLS (que tiene $Z=0$) y obtenemos:

Por lo tanto, la parte "aleatoria" del modelo puede verse como una forma de especificar información previa sobre la estructura de correlación del componente de ruido o error en el modelo. OLS básicamente asume que cualquier error de la parte fija del modelo en un caso es inútil para predecir cualquier otro error, incluso si supiéramos con certeza la parte fija del modelo. Agregar un efecto aleatorio es básicamente decir que cree que algunos errores pueden ser útiles para predecir otros errores.

Esta es una pregunta bastante antigua con algunas respuestas muy buenas, sin embargo, creo que puede beneficiarse de una nueva respuesta para abordar una perspectiva más pragmática.

¿Cuándo no se debe permitir que un efecto fijo varíe entre niveles de un efecto aleatorio?

No abordaré los problemas ya descritos en las otras respuestas, sino que me referiré al ahora famoso, aunque preferiría decir "infame" artículo de Barr et al (2013) a menudo simplemente referido como "Keep it maximal"

Barr, DJ, Levy, R., Scheepers, C. y Tily, HJ, 2013. Estructura de efectos aleatorios para la prueba de hipótesis confirmatoria: mantenerlo al máximo. Revista de memoria y lenguaje, 68 (3), pp.255-278.

En este artículo, los autores argumentan que todos los efectos fijos deberían poder variar según los niveles de los factores de agrupación (intercepciones aleatorias). Su argumento es bastante convincente: básicamente, al no permitirles variar, impone restricciones al modelo. Esto está bien descrito en las otras respuestas. Sin embargo, existen problemas potencialmente graves con este enfoque, que describe Bates el al (2015):

Bates, D., Kliegl, R., Vasishth, S. y Baayen, H., 2015. Modelos mixtos parsimoniales. preimpresión arXiv arXiv: 1506.04967

Vale la pena señalar aquí que Bates es el autor principal del lme4paquete para ajustar modelos mixtos en R, que es probablemente el paquete más utilizado para tales modelos. Bates et al señalan que en muchas aplicaciones del mundo real, los datos simplemente no admitirán una estructura máxima de efectos aleatorios, a menudo porque no hay un número suficiente de observaciones en cada grupo para las variables relevantes. Esto puede manifestarse en modelos que no convergen, o son singulares en los efectos aleatorios. La gran cantidad de preguntas en este sitio sobre tales modelos lo atestigua. También señalan que Barr et al utilizaron una simulación relativamente simple, con efectos aleatorios de "buen comportamiento" como base para su trabajo. En cambio, Bates et al sugieren el siguiente enfoque:

Propusimos (1) usar PCA para determinar la dimensionalidad de la matriz de varianza-covarianza de la estructura de efectos aleatorios, (2) para restringir inicialmente los parámetros de correlación a cero, especialmente cuando un intento inicial de ajustar un modelo máximo no converge, y (3) eliminar componentes de varianza no significativa y sus parámetros de correlación asociados del modelo

En el mismo documento, también señalan:

Es importante destacar que la falta de convergencia no se debe a defectos del algoritmo de estimación, sino que es una consecuencia directa de intentar ajustar un modelo que es demasiado complejo para que los datos lo respalden adecuadamente.

Y:

Los modelos máximos no son necesarios para proteger contra las conclusiones anti-conservadoras. Esta protección está totalmente provista por modelos integrales que se guían por expectativas realistas sobre la complejidad que los datos pueden soportar. En estadística, como en otras partes de la ciencia, la parsimonia es una virtud, no un vicio.

Bates y otros (2015)

Desde una perspectiva más aplicada, una consideración adicional que debe hacerse es si el proceso de generación de datos, la teoría biológica / física / química que subyace a los datos, debe guiar al analista hacia la especificación de la estructura de efectos aleatorios.