Teorema del límite central para las cadenas de Markov

$\newcommand{\E}{\mathbb{E}}$ $\newcommand{\P}{\mathbb{P}}$ El Teorema del límite central (CLT) establece que para independientes e idénticamente distribuidos (iid) con y , la suma converge a una distribución normal como : $X_1,X_2,\dots$ $\E[X_i]=0$ $\operatorname{ Var} (X_i)<\infty$ $n\to\infty$

\sum_{i = 1}^{n} X_{i} \to N (0, \sqrt{n}) .

$\sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right).$

Supongamos, en cambio, que forman una cadena de Markov de estado finito con una distribución estacionaria con expectativa 0 y varianza acotada. ¿Existe una extensión simple de CLT para este caso? $X_1,X_2,\dots$ $\P_\infty$

Los documentos que he encontrado en CLT para Markov Chains generalmente tratan casos mucho más generales. Estaría muy agradecido por un puntero al resultado general relevante y una explicación de cómo se aplica.

markov-process central-limit-theorem

— tom4everitt
fuente

El artículo Critical Behavior de Deep Dynamics de Lin y Tegmark profundiza sobre las "limitaciones * de los procesos y análisis de Markov ... disponibles aquí ... ai2-s2-pdfs.s3.amazonaws.com/5ba0/…

— Mike Hunter

Respuestas:

La respuesta de Alex R. es casi suficiente, pero agrego algunos detalles más. En Teorema del límite central de la cadena de Markov: Galin L. Jones , si observa el teorema 9, dice:

Si es una cadena de Markov ergódica de Harris con distribución estacionaria , entonces un CLT es válido para si es uniformemente ergódico y . $X$ $\pi$ $f$ $X$ $E[f^2] < \infty$

Para espacios de estado finito, todas las cadenas de Markov irreductibles y aperiódicas son uniformemente ergódicas. La prueba de esto implica algunos antecedentes considerables en la teoría de la cadena de Markov. Una buena referencia sería la página 32, al final del teorema 18 aquí .

Por lo tanto, la cadena CLT de Markov se mantendría para cualquier función que tenga un segundo momento finito. La forma que toma el CLT se describe a continuación. $f$

Sea el estimador promediado en el tiempo de , luego, como señala Alex R., como , $\bar{f}_n$ $E_{\pi}[f]$ $n \to \infty$

{\bar{f}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} f (X_{i}) \overset{a.s.}{\to} E_{π} [f] .

$\bar{f}_n = \frac{1}{n} \sum_{i=1}^n f(X_i) \overset{\text{a.s.}}{\to} E_\pi[f].$

La cadena CLT de Markov es

\sqrt{n} ({\bar{f}}_{n} - E_{π} [f]) \overset{d}{\to} N (0, σ^{2}),

$\sqrt{n} (\bar{f}_n - E_\pi[f]) \overset{d}{\to} N(0, \sigma^2),$

donde

σ^{2} = \underset{Expected term}{\underset{⏟}{{Var}_{π} (f (X_{1}))}} + \underset{Term due to Markov chain}{\underset{⏟}{2 \sum_{k = 1}^{\infty} {Cov}_{π} (f (X_{1}), f (X_{1 + k}))}} .

$\sigma^2 = \underbrace{\operatorname{Var}_\pi(f(X_1))}_\text{Expected term} + \underbrace{2 \sum_{k=1}^\infty \operatorname{Cov}_\pi(f(X_1), f(X_{1+k}))}_\text{Term due to Markov chain}.$

Puede encontrar una derivación para el término en la página 8 y la página 9 de las notas de MCMC de Charles Geyer aquí $\sigma^2$

— Greenparker
fuente

Gracias, eso está muy claro! ¿Existe un argumento fácil por qué las cadenas de Markov de estado finito, irreductibles y aperiódicas son uniformemente ergódicas? (No es que no confíe en ti ^^).

— tom4everitt

@ tom4everitt Lamentablemente, la definición de "fácil" es subjetiva. Si está familiarizado con las condiciones de deriva y minorización de las cadenas de Markov, entonces el argumento es fácil. Si no, entonces sería un largo argumento. Intentaré encontrar una referencia en su lugar. Podría tomar un tiempo

— Greenparker

Que sería increíble. Si no encuentra ninguna, un par de oraciones que sugieren los pasos principales seguirían siendo útiles.

— tom4everitt

@ tom4everitt Se agregó una referencia a la respuesta. Espero que sea suficiente.

— Greenparker

@Greenparker ¿Podría pedirle ayuda para comprender cómo se deriva la variación en su respuesta? Revisé la referencia en su respuesta, pero no encontré una derivación allí. Tengo una fuente, MC para MCsist, pero no entiendo completamente cómo se deriva allí. Es decir, ¿cómo se deriva el término ? ¡Gracias!

σ^{2}

$\sigma^2$

— LeastSquaresWonderer

El resultado "habitual" de Markov Chains es el teorema ergódico de Birkhoff, que dice que

\frac{1}{n} \sum_{i = 1}^{n} f (X_{i}) \to E_{π} [f],

$\frac{1}{n}\sum_{i=1}^nf(X_i)\rightarrow E_{\pi}[f],$

donde es la distribución estacionaria, y satisface , y la convergencia es casi segura. $\pi$ $f$ $E|f(X_1)|<\infty$

Lamentablemente, las fluctuaciones de esta convergencia son generalmente bastante difíciles. Esto se debe principalmente a la extrema dificultad de calcular los límites de variación total de la rapidez con que converge a la distribución estacionaria . Existen casos conocidos en los que las fluctuaciones son análogas a la CLT, y puede encontrar algunas condiciones en la deriva que hacen que la analogía se mantenga: En el Teorema del límite central de la cadena de Markov - Galin L. Jones (Ver Teorema 1). $X_i$ $\pi$

También hay situaciones estúpidas, por ejemplo, una cadena con dos estados, donde uno absorbe (es decir, y En este caso no hay fluctuaciones, y usted obtener convergencia a una distribución normal degenerada (una constante). $P(1\rightarrow 2)=1$ $P(2\rightarrow 1)=0$

— Alex R.
fuente

No creo que esté preguntando por una convergencia casi segura. Creo que quiere una especie de 'traducción' de algunos de los CLT en espacios generales: probablemente una explicación de lo que significan los supuestos requeridos en el contexto específico de las cadenas espaciales de estado finito

— Taylor

Gracias. ¿Una cadena de Markov normal, agradable y de estado finito satisfaría trivialmente la condición de deriva? Incluso estaría feliz de saberlo solo para una cadena de dos estados, pero está lejos de ser obvio para mí cómo demostrarlo.

— tom4everitt