Conciliación de anotaciones para modelos mixtos

Estoy familiarizado con la notación como:

\begin{aligned} y_{i j} & = β_{0} + β_{i} x_{i j} + u_{j} + e_{i j} \\ = β_{0 j} + β_{i} x_{i j} + e_{i j} \end{aligned}

$\begin{align} y_{ij} &= \beta_0 + \beta_i x_{ij} + u_j + e_{ij}\\ &= \beta_{0j} + \beta_i x_{ij} + e_{ij} \end{align}$ where , y

β_{0 j} = β_{0} + u_{j}

$\beta_{0j}=\beta_{0}+u_j$

\begin{aligned} y_{i j} & = β_{0} + β_{1} x_{i j} + u_{0 j} + u_{1 j} x_{i j} + e_{i j} \\ = β_{0 j} + β_{1 j} x_{i j} + e_{i j} \end{aligned}

$\begin{align} y_{ij} &= \beta_0 + \beta_1 x_{ij} + u_{0j} + u_{1j} x_{ij} + e_{ij} \\ &= \beta_{0j} + \beta_{1j} x_{ij} + e_{ij} \end{align}$ donde y

β_{0 j} = β_{0} + u_{0 j}

$\beta_{0j}=\beta_{0}+u_{0j}$

β_{1 j} = β_{1} + u_{1 j}

$\beta_{1j}=\beta_1+u_{1j}$

para un modelo de intercepciones aleatorias y un modelo de pendiente aleatoria + intercepciones aleatorias, respectivamente.

También me he encontrado con esta notación de matriz / vector, que me han dicho que es "notación de modelo mixto para adultos" (según mi hermano mayor):

y = X β + Z b + e

$\mathbf{y}=\mathbf{X\beta} + \mathbf{Z b} + \mathbf{e}$ donde son los efectos fijos y son los efectos aleatorios.

β

$\mathbf{\beta}$

b

$\mathbf{b}$

Si he entendido correctamente, la última notación es una notación más general para la primera, que son versiones específicas de la segunda.

Me gustaría ver cómo se puede derivar lo primero de lo último.

mixed-model mathematical-statistics

— Joe King
fuente

¿Estás preguntando por una explicación de la notación matricial? La razón por la que pregunto es que esta pregunta no necesita ninguna derivación matemática: todas sus fórmulas dicen exactamente las mismas cosas y relacionarlas entre sí es solo una cuestión de entender cómo funciona la notación matricial.

— whuber

@whuber Entiendo la notación matricial y el álgebra matricial, hasta cierto punto. Pero no sé cómo comenzar desde la forma matricial y llegar a las otras formas. Probablemente no entiendo algo sobre las matrices X y Z, pero solo esperaba que alguien lo explicara.

— Joe King

@whuber, ¿hay algo que pueda hacer para mejorar la pregunta, o estás diciendo que es tan básico que no merece una respuesta?

— Joe King

@JoeKing: Creo que está diciendo que la notación matricial es, por definición, equivalente a su notación no matricial. Es decir, ya tiene (matriz ixj multiplicada por la matriz que produce la matriz ) que es . (Puede en incluyendo un 1 en ).

x_{i j} β_{i}

$x_{ij}\beta_i$

y_{i}

$y_i$

y = X β

$y=X\beta$

β_{0}

$\beta_0$

β

$\beta$

X

$X$

— Wayne

@Wayne ambos modelos tienen efectos aleatorios y efectos fijos. El primero tiene una intersección aleatoria, mientras que el segundo tiene una intersección aleatoria y una pendiente aleatoria. ¡Si pudiera "resolverlo" yo mismo, no estaría haciendo la pregunta aquí!

— Joe King

Consideramos un modelo mixto con pendientes aleatorias e intercepciones aleatorias. Dado que solo tenemos un regresor, este modelo puede escribirse como donde denota la -ésima observación del grupo de la respuesta, y y el respectivo predictor y término de error.

y_{i j} = β_{0} + β_{1} x_{i j} + u_{0 j} + u_{1 j} x_{i j} + ϵ_{i j},

$y_{ij}= \beta_0 + \beta_1 x_{ij} + u_{0j}+u_{1j}x_{ij}+\epsilon_{ij},$

y_{i j}

$y_{ij}$

i

$i$

j

$j$

x_{i j}

$x_{ij}$

ϵ_{i j}

$\epsilon_{ij}$

Este modelo se puede expresar en notación matricial de la siguiente manera:

Y = X β + Zb + ϵ,

$\mathbf{Y}=\mathbf{X}\beta + \textbf{Zb} + \epsilon,$ que es equivalente a

Y = [\begin{matrix} X & Z \end{matrix}] [\begin{matrix} β \\ b \end{matrix}] + ϵ

$\mathbf{Y}= \begin{bmatrix} \mathbf{X} & \textbf{Z} \end{bmatrix} \begin{bmatrix} \beta\\ \mathbf{b} \end{bmatrix}+ \epsilon$

Supongamos que tenemos grupos , es decir, y dejemos que denote el número de observaciones en el grupo . Particionado para cada grupo, podemos escribir la fórmula anterior como $J$ $j=1,\dots,J$ $n_j$ $j$

[\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{J} \end{matrix}] = [\begin{matrix} X_{1} & Z_{1} & 0 & 0 & 0 \\ X_{2} & 0 & Z_{2} & 0 & 0 \\ ⋮ & \dots \\ X_{J} & 0 & 0 & 0 & Z_{J} \end{matrix}] [\begin{matrix} β \\ b_{1} \\ b_{2} \\ ⋮ \\ b_{J} \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ⋮ \\ ϵ_{J} \end{matrix}]

$\begin{bmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \\ \vdots \\ \mathbf{Y_J} \end{bmatrix}=\begin{bmatrix} \mathbf{X_1} & \mathbf{Z_1} & 0 & 0 & 0 \\ \mathbf{X_2} & 0 & \mathbf{Z_2} & 0 & 0 \\ \vdots & & & \dots & \\ \mathbf{X_J} & 0 & 0 & 0 & \mathbf{Z_J} \end{bmatrix} \begin{bmatrix} \beta \\ b_1 \\ b_2 \\ \vdots \\ b_J \end{bmatrix}+\begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_J \end{bmatrix}$

donde es una que contiene todas las observaciones de la respuesta para el grupo , y son matrices de diseño en este caso y es nuevamente una matriz. $\mathbf{Y_j}$ $n_j \times 1$ $j$ $\mathbf{X_j}$ $\mathbf{Z_j}$ $n_j \times 2$ $\epsilon_j$ $n_j \times 1$

Escribiéndolos, tenemos:

$\mathbf{Y_j} = \begin{bmatrix} y_{1j}\\ y_{2j}\\ \vdots \\ y_{n_jj} \end{bmatrix}, \mathbf{X_j}=\mathbf{Z_j}=\begin{bmatrix} 1 & x_{1j} \\ 1 & x_{2j} \\ \vdots & \vdots \\ 1 & x_{n_jj} \end{bmatrix}$ y $\epsilon_j = \begin{bmatrix} \epsilon_{1j}\\ \epsilon_{2j}\\ \vdots \\ \epsilon_{n_jj} \end{bmatrix}.$

Los vectores de coeficiente de regresión son entonces

$\beta = \begin{pmatrix} \beta_0 \\ \beta_1 \end{pmatrix}$ , $b_j=\begin{pmatrix} u_{0j}\\ u_{1j} \end{pmatrix}$

Para ver que las dos formulaciones modelo son de hecho equivalentes, veamos cualquiera de los grupos (digamos el -ésimo). $j$

Y_{j} = X_{j} β + Z_{j} b_{j} + ϵ_{j}

$\mathbf{Y_j} = \mathbf{X_j} \beta + \mathbf{Z_j}b_j + \epsilon_j$

Aplicando las definiciones anteriores, se puede mostrar que la -ésima fila del vector resultante es solo donde varía de a . $i$

y_{i j} = β_{0} + β_{1} x_{i j} + u_{0 j} + u_{1 j} x_{i j} + ϵ_{i j},

$y_{ij}= \beta_0 + \beta_1 x_{ij} + u_{0j}+u_{1j}x_{ij}+\epsilon_{ij},$

i

$i$

1

$1$

n_{j}

$n_j$

— Philipp Burckhardt
fuente

+1, solo señalaría que existen grandes ventajas computacionales de implementar usando lugar de la matriz completa . El son básicamente una versión de almacenamiento de matriz dispersa de

Z_{j}

$Z_j$

Z

$Z$

Z_{j}

$Z_j$

Z

$Z$

— probabilityislogic