Intuición sobre la estimación de parámetros en modelos mixtos (parámetros de varianza vs. modos condicionales)

He leído muchas veces que los efectos aleatorios (BLUP / modos condicionales para, por ejemplo, sujetos) no son parámetros de un modelo de efectos lineales mixtos, sino que pueden derivarse de los parámetros estimados de varianza / covarianza. Por ejemplo, Reinhold Kliegl et al. (2011) estado:

Los efectos aleatorios son las desviaciones de los sujetos de la gran RT media y las desviaciones de los sujetos de los parámetros de efectos fijos. Se supone que se distribuyen de manera independiente y normalmente con una media de 0. Es importante reconocer que estos efectos aleatorios no son parámetros del LMM, solo lo son sus variaciones y covarianzas. Los parámetros [...] LMM en combinación con los datos de los sujetos se pueden usar para generar "predicciones" (modos condicionales) de efectos aleatorios para cada sujeto.

¿Puede alguien dar una explicación intuitiva de cómo se pueden estimar los parámetros de (co) varianza de los efectos aleatorios sin usar / estimar realmente los efectos aleatorios?

mixed-model intuition blup

— statmerkur
fuente

Respuestas:

Considere un modelo mixto lineal simple, por ejemplo, un modelo de intercepción aleatoria donde estimamos la dependencia de en en diferentes sujetos, y supongamos que cada sujeto tiene su propia intercepción aleatoria: Aquí las intersecciones se modelan como provenientes de una distribución gaussiana y el ruido aleatorio también es gaussiano $y$ $x$

y = un + si X + C_{yo} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

C_{yo} \sim norte (0 0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

En lasintaxis, este modelo se escribiría como.

ϵ \sim norte (0 0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

Es instructivo reescribir lo anterior de la siguiente manera:

\begin{matrix} y ∣ C \sim norte (un + si X + C, σ^{2}) \\ C \sim norte (0 0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

Esta es una forma más formal de especificar el mismo modelo probabilístico. De esta formulación podemos ver directamente que los efectos aleatorios no son "parámetros": son variables aleatorias no observadas. Entonces, ¿cómo podemos estimar los parámetros de varianza sin conocer los valores de ? $c_i$ $c$

$y$ $c$ $c$ $y\mid c$ $y$ $c$

$\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

y \sim norte (un + si X, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$

c_{i}

$c_i$

$a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— ameba dice Reinstate Monica
fuente

y \sim N (a + b x, σ^{2} I)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

y \sim N (a + b x, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— Sextus Empiricus

c

$c$

c

$c$

c

$c$

Creo que simplemente no entiendo el paso de integración. Como @Martijn Weterings señaló un pequeño (código R) ejemplo o referencia donde uno puede encontrar que esto sería genial.

— statmerkur

Gracias por aceptar mi respuesta y otorgarme la recompensa @statmerkur, pero es una pena que no esté claro. Trataré de pensar en un ejemplo. Te enviaré un ping cuando actualice la respuesta.

— ameba dice Reinstate Monica

@statmerkur En una respuesta a esta pregunta, demuestro el cálculo manual de un modelo de efectos mixtos (manual en el sentido de escribir la función de probabilidad, la optimización aún se realiza mediante una función de optimización estándar en R) stats.stackexchange.com/a/ 337348/164061

— Sextus Empiricus

Puede estimar fácilmente los parámetros de varianza y covarianza sin depender de efectos aleatorios mediante el uso de efectos fijos (vea aquí una discusión sobre los efectos fijos frente a los efectos aleatorios; tenga en cuenta el hecho de que existen diferentes definiciones de estos términos).

Los efectos fijos se pueden derivar fácilmente agregando una variable indicadora (binaria) para cada grupo (o cada período de tiempo o lo que esté pensando usar como efectos aleatorios; esto es equivalente a la transformación interna). Esto le permite estimar fácilmente los efectos fijos (que se pueden ver como un parámetro).

La suposición de efectos fijos no requiere que asuma la distribución de los efectos fijos, puede estimar fácilmente la varianza de los efectos fijos (aunque esto es extremadamente ruidoso si el número de observaciones dentro de cada grupo es pequeño; minimizan el sesgo por el gasto de una varianza mucho mayor en comparación con los efectos aleatorios porque pierde un grado de libertad para cada grupo al agregar estas variables indicadoras). También puede estimar covarianzas entre diferentes conjuntos de efectos fijos, o entre efectos fijos y otras covariables. Lo hemos hecho, por ejemplo, en un artículo llamado Equilibrio competitivo y emparejamiento surtido en la Bundesliga alemana para estimar si los mejores jugadores de fútbol juegan cada vez más para mejores equipos.

Los efectos aleatorios necesitan una suposición previa sobre la covarianza. En los modelos clásicos de efectos aleatorios, se supone que los efectos aleatorios son como un error y que son independientes de las otras covariables (de modo que puede ignorarlos y utilizar OLS y obtener estimaciones coherentes aunque ineficientes para el otro parámetro si los supuestos del modelo de efectos aleatorios son ciertos).

Más información más técnica está disponible aquí . Andrew Gelman también tiene mucho trabajo más intuitivo sobre esto en su buen libro Análisis de datos usando regresión y modelos multinivel / jerárquicos

— Arne Jonas Warnke
fuente

Me refiero a los parámetros de (co) varianza de los efectos aleatorios (ver mi edición).

— statmerkur

No creo que esto responda la pregunta.

— ameba dice Reinstate Monica