¿Un MCMC que cumple con el saldo detallado produce una distribución estacionaria?

12

Supongo que entiendo la ecuación de la condición de equilibrio detallado, que establece que para la probabilidad de transición y la distribución estacionaria , una cadena de Markov satisface el equilibrio detallado si $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

Esto tiene más sentido para mí si lo reformulo como:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

Básicamente, la probabilidad de transición del estado al estado debería ser proporcional a la razón de sus densidades de probabilidad. $x$ $y$

probability mcmc markov-process

— Mike Flynn
fuente

10

No es cierto que MCMC que cumpla con el balance detallado siempre produzca la distribución estacionaria. También necesitas que el proceso sea ergódico . Veamos por qué:

Considere que es un estado del conjunto de todos los estados posibles e identifíquelo por el índice . En un proceso de Markov, una distribución evoluciona de acuerdo con $x$ $i$ $p_t(i)$

p_{t} (i) = \sum_{j} Ω_{j \to i} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

donde es la matriz que denota las probabilidades de transición (su ). $\Omega_{j \rightarrow i}$ $q(x|y)$

Entonces, tenemos eso

p_{t} (i) = \sum_{j} (Ω_{j \to i})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

El hecho de que es una probabilidad de transición implica que sus valores propios deben pertenecer al intervalo [0,1]. $\Omega_{j \rightarrow i}$

Para garantizar que cualquier distribución inicial converja a la asintótica, debe asegurarse de que $p_{0}(j)$

1 Solo hay un valor propio de con valor 1 y tiene un vector propio distinto de cero. $\Omega$

Para asegurarse de que es la distribución asintótica, debe asegurarse de que $\pi$

2 El vector propio asociado con el valor propio 1 es . $\pi$

La ergodicidad implica 1., el equilibrio detallado implica 2., y es por eso que ambos forman una condición necesaria y suficiente de convergencia asintótica.

Por qué el balance detallado implica 2:

Empezando desde

p (i) Ω_{i j} = Ω_{j i} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

y sumando en ambos lados, obtenemos $j$

p (i) = \sum_{j} Ω_{j i} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

porque , ya que siempre transitas a algún lugar. $\sum_{j} \Omega_{ij} = 1$

La ecuación anterior es la definición del valor propio 1 (más fácil de ver si lo escribe en forma de vector :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Jorge Leitao
fuente

El OP no pregunta si es único o no, pregunta cómo MCMC con un balance detallado es suficiente para producir una densidad de probabilidad invariable.

— gatsu

1

La primera oración de esta respuesta es "No es cierto que MCMC que cumpla con el balance detallado siempre produzca la distribución estacionaria". Entonces, no, el balance detallado no es suficiente para producir una densidad invariable ... ¿Cómo responde eso a la pregunta?

— Jorge Leitao

0

Creo que sí, porque para un MC irreducible si se satisface el equilibrio detallado, entonces tiene una distribución estacionaria única, pero para que sea independiente de la distribución inicial también tiene que ser aperiódico.

En el caso de MCMC, comenzamos desde un punto de datos y luego proponemos un nuevo punto. Podemos o no movernos al punto propuesto, es decir, tenemos un bucle automático que hace que un MC irreducible sea aperiódico.

Ahora, en virtud de satisfacer DB, también tiene estados recurrentes positivos, es decir, el tiempo medio de retorno a los estados es finito. Entonces, la cadena que construimos en MCMC es irreducible, aperiódica y recurrente positiva, lo que significa que es una cadena ergódica.

Sabemos que para una cadena ergódica irreducible existe una distribución estacionaria que es única e independiente de la distribución inicial.

— Siddharth Shakya
fuente