Pregunta sobre cómo usar EM para estimar los parámetros de este modelo

Estoy tratando de entender EM e intentando inferir los parámetros de este modelo usando esta técnica, pero tengo problemas para entender cómo comenzar:

Entonces, tengo un modelo de regresión lineal ponderado de la siguiente manera donde tengo observaciones y las observaciones correspondientes . El modelo de la relación entre e es un modelo de regresión lineal ponderado y los supuestos de distribución son los siguientes:$X = (x_i, x_2....x_n)$$Y = (y_1, y_2....y_n)$$X$$Y$

$$y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i})$$ $$\beta \sim \mathcal{N}(0, \Sigma_\beta)$$ $$w_i \sim \mathcal{G}(a, b)$$

Aquí son los parámetros de regresión y el modelo permite variaciones desiguales al hacer que las variables de respuesta tengan pesos individuales sobre la variación. Mi objetivo es encontrar la relación lineal más probable dada por los parámetros .$\beta$$\beta$

Entonces, ahora puedo escribir el log-posterior de la siguiente manera:

$$\log P(Y, \beta, w|X) = \sum_{i=1}^n \big(\log P(y_i|x_i, \beta, w_i) + \log P(w_i)\big) + log P(\beta)$$

Ahora, he estado tratando de entender EM y no estoy seguro de que mi comprensión aún esté completa, pero tal como lo entiendo, para comenzar a estimar los parámetros, empiezo tomando la expectativa de la distribución log-posterior con respecto a los parámetros latentes / ocultos que en mi caso son y . Entonces este valor esperado requerido será:$\log P(Y, \beta, w|X)$$\beta$$w$

$$\int\int P(\beta, w | X) * \log P(Y, \beta, w | X) dw \;d\beta$$

Sin embargo, no tengo idea de cómo proceder desde aquí para calcular esta expectativa. Agradecería cualquier sugerencia sobre cuál debería ser el siguiente paso. No estoy buscando a alguien que me dé todas las cosas necesarias, sino solo un empujón en la dirección correcta sobre lo que debería buscar resolver en los próximos pasos.

Permítanme recordar primero los conceptos básicos del algoritmo EM. Al buscar la estimación de probabilidad máxima de una probabilidad de la forma

$$\int f(x,z|\beta)\text{d}z,$$ el algoritmo continúa maximizando iterativamente (M) las probabilidades de registro completas (E) esperadas, lo que resulta en la maximización (en $\beta$) en la iteración $t$ la función $$Q(\beta|\beta_i)=\int \log f(x,z|\beta) f(z|x,\beta_t)\text{d}z$$ Por lo tanto, el algoritmo debe comenzar identificando la variable latente $z$ y su distribución condicional.

En su caso, parece que la variable latente es $\varpi$ hecho de la $w_i$mientras que el parámetro de interés es $\beta$. Si procesas ambos$\beta$ y $\varpi$como variables latentes no queda parámetro para optimizar. Sin embargo, esto también significa que lo anterior en$\beta$ No se utiliza.

Si miramos más precisamente el caso de $w_i$, su distribución condicional viene dada por

$$f(w_i|x_i,y_i,\beta)\propto\sqrt{w_i}\exp\left\{-w_i(y_i-\beta^Tx_i)^2/2\sigma^2\right\}\times w_i^{a-1}\exp\{-bw_i\}$$ que califica como un $$\mathcal{G}\left(a+1/2,b+(y_i-\beta^Tx_i)^2/2\sigma^2\right)$$ distribución.

El log-verosimilitud completado es

$$\sum_i \frac{1}{2}\left\{\log(w_i)- w_i(y_i-\beta^Tx_i)^2/\sigma^2\right\}$$ la parte que depende de $\beta$ simplifica como $$-\sum_iw_i(y_i-\beta^Tx_i)^2/2\sigma^2$$ y la función $-Q(\beta|\beta_t)$ es proporcional a $$\begin{align*}\mathbb{E}\left[\sum_iw_i(y_i-\beta^Tx_i)^2\Big|X,Y,\beta_t\right]&=\sum_i\mathbb{E}[w_i|X,Y,\beta_t](y_i-\beta^Tx_i)^2\\&=\sum_i\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}(y_i-\beta^Tx_i)^2\end{align*}$$ Maximizando esta función en $\beta$ equivale a una regresión lineal ponderada, con pesos $$\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}$$