Combinando múltiples cadenas MCMC paralelas en una cadena más larga

Digamos que se han ejecutado cadenas MCMC paralelas donde cada cadena ha tenido quemado. Deje que las cadenas resultantes se denoten por donde es la longitud de cada cadena después de quemado $m$

x_{1}^{(i)}, \dots, x_{N}^{(i)} for i = 1, \dots, m,

$x_1^{(i)},\dots,x_N^{(i)} \quad \text{ for } i=1,\dots,m,$

N

$N$

Si uno quisiera combinar estas cadenas en una cadena larga, ¿es tan simple como concatenarlas como

x_{1}^{(1)}, \dots, x_{N}^{(1)}, \dots, x_{1}^{(m)}, \dots, x_{N}^{(m)} ?

$x_1^{(1)},\dots,x_N^{(1)},\dots, x_1^{(m)},\dots, x_N^{(m)} ?$

En mi caso, cada es un parámetrovector . Mi objetivo es tomar muestras de la posterior donde son los datos. La razón por la que estoy interesado en las cadenas paralelas es porque son necesarias para calcular el factor de reducción de escala potencial (PSRF). $x_i$ $\theta_i$

p (θ ∣ y),

$p(\theta \mid y),$

y

$y$

mcmc parallel-computing

— Lotus3000
fuente

Tenga en cuenta que las cadenas individuales tienen dependencia en serie; los valores de cadenas separadas no lo hacen, así que si quisieras que pareciera una cadena larga, simplemente concatenarlos no se vería bien.

Sin embargo, si solo está interesado en la distribución, el orden en la cadena es irrelevante. En realidad, no busca concatenar las cadenas para eso, simplemente desea agrupar toda la información de distribución (trátelos como una gran muestra). Ciertamente, si todas las cadenas convergen a su distribución estacionaria, todas serán muestras de la misma distribución; puede combinarlas.

De hecho, algunas personas ejecutan un período de consumo y solo obtienen un valor único de muchas cadenas separadas.

(Mantener las carreras separadas podría ayudar a juzgar si realmente han convergido).

Sin embargo, si está calculando la varianza que explica la estructura de dependencia, la basará en el hecho de que las diferentes ejecuciones son independientes, pero los valores de la misma ejecución dependen.

— Glen_b -Reinstate a Monica
fuente

Entonces, por ejemplo, si quisiera encontrar una estimación de mi vector de parámetros, simplemente podría calcularlo como

\hat{θ} = \frac{\sum_{i = 1}^{m} \sum_{j = 1}^{N} θ_{j}^{(i)}}{n m} ?

$\hat{\theta} = \frac{ \sum_{i=1}^m \sum_{j=1}^N \theta_j^{(i)}}{nm}?$

— Lotus3000

Si. Es solo la variación lo que es (ligeramente) complicado.

— Glen_b -Reinstale a Monica

¿Esto es Gibbs o algo más?

— Glen_b: reinstala a Monica

Metropolis-Hastings

— Lotus3000

Oh, está bien, no hay problema. Iba a sugerir un estimador diferente si fuera Gibbs.

— Glen_b: reinstala a Monica