Confusión relacionada con el muestreo de Gibbs

Encontré este artículo donde dice que en el muestreo de Gibbs se acepta cada muestra. Estoy un poco confundido. ¿Cómo es que si cada muestra que aceptaba converge a una distribución estacionaria?

En general, el algoritmo Metropolis aceptamos como min (1, p (x *) / p (x)) donde x * es el punto de muestra. Supongo que x * nos señala a una posición donde la densidad es alta, por lo que nos estamos moviendo a la distribución objetivo. Por lo tanto, supongo que se mueve a la distribución de destino después de un período de grabación.

Sin embargo, en el muestreo de Gibbs aceptamos todo, por lo que, aunque puede llevarnos a un lugar diferente, ¿cómo podemos decir que converge a la distribución estacionaria / objetivo?

Supongamos que tenemos una distribución . No podemos calcular Z. En el algoritmo de metrópolis utilizamos el término para incorporar la distribución más la constante de normalización Z cancela. Entonces está bien $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Pero en el muestreo de Gibbs, ¿dónde estamos usando la distribución $c(\theta)$

Por ejemplo, en el documento http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf se da

así que no tenemos la distribución condicional exacta de la que tomar muestras, solo tenemos algo que es directamente proporcional a la distribución condicional

ingrese la descripción de la imagen aquí

mcmc gibbs metropolis-hastings

— usuario34790
fuente

p (x *) / p (x)

$p(x*)/p(x)$

Respuestas:

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Sin embargo, en el muestreo de Gibbs siempre exceptuamos la variable aleatoria porque no tenemos que calcular la relación de aceptación (bueno, en realidad lo haces, pero cuando conectas las cosas, ves que todo se cancela y tu relación de aceptación es y, por lo tanto, claramente siempre es menor que y por eso siempre estás aceptando). Sin embargo, también puede pensar intuitivamente cuando en el muestreo de Gibbs está tomando muestras de los condicionales completos, que es una expresión de forma cerrada de la que podemos tomar muestras directamente y, por lo tanto, no hay necesidad de rechazar muestras como en el algoritmo Metropolis-Hastings donde no sabe cómo muestrear (o generalmente no reconoce la forma de) . ¡Espero que ayude! $\alpha=1$ $U$ $\alpha$ $p(x)$

ingrese la descripción de la imagen aquí

No lo entendí, ¿cómo es que todo se cancela? Bien, digamos que tenemos que tomar muestras de la distribución de 3 variables. Entonces, cuando quiso decir condicionales completos en expresión de forma cerrada, quiere decir p (x1 | x2, x3) p (x2 | x1, x3) y p (x3 | x1, x2). Mi pregunta es en el caso del muestreo de Gibbs si conocemos la distribución condicional obtenida de la distribución real p de la que queremos muestrear. Es eso lo que quieres decir. En el caso del algoritmo Metropolis, no conocemos p, sino algo así como c, de modo que p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— user34790

Supongamos que comenzamos con valores aleatorios para las variables x1, x2 y x3, ¿cómo podemos decir que su distribución estacionaria converge con la requerida? ¿Cuál es el criterio para eso?

— user34790

Supongamos que tengo una distribución . No sé Z. Entonces, ¿cómo tomaría muestras de usando el muestreo de Gibbs

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— User34790

Agregué una prueba anterior de por qué siempre es una. Para usar el muestreo de Gibbs necesita saber cuáles son los condicionales completos.

La prueba de que la tasa de aceptación es igual a 1 como un error tipográfico, es decir, en el denominador en la parte media y tercera, la expresión para q debe tener z_i prime, de modo que al final obtenga P (z_i prime | z_i prime).

Alex

— usuario60803
fuente