Distribución de propuesta de matriz de covarianza

En una implementación MCMC de modelos jerárquicos, con efectos aleatorios normales y un Wishart previo para su matriz de covarianza, se usa típicamente el muestreo de Gibbs.

Sin embargo, si cambiamos la distribución de los efectos aleatorios (p. Ej., A Student's-t u otro), la conjugación se pierde. En este caso, ¿cuál sería una distribución de propuesta adecuada (es decir, fácilmente ajustable) para la matriz de covarianza de los efectos aleatorios en un algoritmo de Metropolis-Hastings, y cuál debería ser la tasa de aceptación objetivo, nuevamente 0.234?

De antemano, gracias por cualquier consejo.

Bueno, si buscas "algún indicador" ...

La distribución de Wishart (a escala) (inversa) se usa a menudo porque se conjuga con la función de probabilidad multivariante y, por lo tanto, simplifica el muestreo de Gibbs.

En Stan , que utiliza el muestreo hamiltoniano de Montecarlo, no hay restricciones para los antecedentes multivariados. El enfoque recomendado es la estrategia de separación sugerida por Barnard, McCulloch y Meng :

$$\Sigma=\text{diag_matrix}(\sigma)\;\Omega\;\text{diag_matrix}(\sigma)$$ dónde $\sigma$ es un vector de desarrolladores estándar y $\Omega$ Es una matriz de correlación.

Los componentes de $\sigma$se puede dar cualquier previo razonable. En cuanto a$\Omega$, el previo recomendado es

$$\Omega\sim\text{LKJcorr}(\nu)$$ donde "LKJ" significa Lewandowski, Kurowicka y Joe . Como$\nu$ aumenta, lo anterior se concentra cada vez más alrededor de la matriz de correlación de unidades, en $\nu=1$La distribución de correlación LKJ se reduce a la distribución de identidad sobre las matrices de correlación. Por lo tanto, el LKJ anterior puede usarse para controlar la cantidad esperada de correlación entre los parámetros.

Sin embargo, no he probado (todavía) distribuciones no normales de efectos aleatorios, así que espero no haber perdido el punto ;-)

Yo personalmente uso las propuestas de Wishart. Por ejemplo, si quiero una propuesta$\Sigma^*$ alrededor $\Sigma$, Yo suelo:

$$\Sigma^* \sim \mathcal{W}(\Sigma/a,a),$$ dónde $a$ es un gran número, como 1000. Con ese truco obtendrás $E[\Sigma^*]=\Sigma$ y puedes ajustar la varianza con $a$. Si no me equivoco, la proporción de propuestas para$(p\times p)$ matrices tiene una forma cerrada: $$\frac{q(\Sigma\to\Sigma^*)}{q(\Sigma^*\to\Sigma)} = \left(\frac{|\Sigma^*|}{|\Sigma|}\right)^{a-(p-1)/2} \cdot e^{[tr({\Sigma^*}^{-1}\Sigma)-tr({\Sigma}^{-1}\Sigma^*)] \cdot a/2}$$

Es bien sabido que si usa distribuciones no gaussianas, la conjugación del modelo se pierde, vea:

http://www.utstat.toronto.edu/wordpress/WSFiles/technicalreports/0610.pdf

Luego, debe usar otros métodos MCMC, como Metropolis dentro del muestreo de Gibbs o alguna versión adaptativa del mismo. Afortunadamente, hay un paquete R para hacerlo:

http://cran.r-project.org/web/packages/spBayes/index.html

La tasa de aceptación recomendada es 0.44 pero, por supuesto, hay algunas suposiciones detrás de este número, de manera similar al caso de 0.234.

¿Eres EL Dimitris Rizopoulos?

Se puede usar cualquier propuesta si define su log-posterior correctamente. Solo necesita usar algunos trucos para implementarlo y definir adecuadamente el soporte de su parte posterior, consulte:

¿Cómo encontrar el soporte de la distribución posterior para aplicar el algoritmo MCMC de Metropolis-Hastings?

Hay toneladas de ejemplos en los que una propuesta gaussiana puede usarse para posteriores truncados. Esto es solo un truco de implementación. Nuevamente, está haciendo una pregunta sin una solución general. Algunas propuestas incluso tienen un rendimiento diferente para el mismo modelo y diferentes conjuntos de datos.

Buena suerte.