Intentó mostrar un balance detallado para la cadena de Markov que se obtiene al considerar que una transición de la cadena de Markov es el 'barrido de Gibbs' donde se muestrea cada componente a su vez a partir de su distribución condicional. Para esta cadena, el saldo detallado no está satisfecho. El punto es más bien que cada muestreo de un componente particular de su distribución condicional es una transición que satisface el equilibrio detallado. Sería más exacto decir que el muestreo de Gibbs es un caso especial de un Metropolis-Hastings ligeramente generalizado, donde se alternan entre múltiples propuestas diferentes. Más detalles siguen.
Los barridos no satisfacen el equilibrio detallado
Construyo un contraejemplo. Considere dos variables de Bernoulli ( ), con probabilidades como se muestra en la siguiente tabla:
Suponga que el barrido de Gibbs está ordenado para que se muestree primero. Pasar del estado al estado en un movimiento es imposible, ya que requeriría pasar de a . Sin embargo, pasar de a tiene una probabilidad positiva, a saber,X1,X2
X1=0X1=1X2=0130X2=11313
X1(0,0)(1,1)(0,0)(1,0)(1,1)(0,0)14. Por lo tanto, concluimos que el balance detallado no está satisfecho.
Sin embargo, esta cadena todavía tiene una distribución estacionaria que es la correcta. El balance detallado es una condición suficiente, pero no necesaria, para converger a la distribución objetivo.
Los movimientos por componentes satisfacen el equilibrio detallado
Considere un estado de dos variables donde muestreamos la primera variable de su distribución condicional. Un movimiento entre y tiene probabilidad cero en ambas direcciones si y, por lo tanto, para estos casos se mantiene claramente el equilibrio detallado. A continuación, considere :
(x1,x2)(y1,y2)x2≠y2x2=y2
π(x1,x2)Prob((x1,x2)→(y1,x2))=π(x1,x2)p(y1∣X2=x2)=π(x1,x2)π(y1,x2)∑zπ(z,x2)=π(y1,x2)π(x1,x2)∑zπ(z,x2)=π(y1,x2)p(x1∣X2=x2)=π(y1,x2)Prob((y1,x2)→(x1,x2)).
¿Cómo los movimientos de componentes son movimientos de Metropolis-Hastings?
Tomando muestras del primer componente, nuestra distribución de propuesta es la distribución condicional. (Para todos los demás componentes, proponemos los valores actuales con probabilidad ). Considerando un movimiento de a , la razón de probabilidades objetivo es
Pero la razón de probabilidades de propuesta es
1(x1,x2)(y1,y2)
π(y1,x2)π(x1,x2).
Prob((y1,x2)→(x1,x2))Prob((x1,x2)→(y1,x2))=π(x1,x2)∑zπ(z,x2)π(y1,x2)∑zπ(z,x2)=π(x1,x2)π(y1,x2).
Entonces, la razón de probabilidades objetivo y la razón de probabilidades propuestas son recíprocas, y por lo tanto la probabilidad de aceptación será . En este sentido, cada uno de los movimientos en la muestra de Gibbs son casos especiales de movimientos de Metropolis-Hastings. Sin embargo, el algoritmo general visto desde este punto de vista es una ligera generalización del algoritmo de Metropolis-Hastings que se presenta típicamente en el sentido de que tiene alternancia entre diferentes distribuciones de propuestas (una para cada componente de la variable objetivo).
1