¿Cuál es la diferencia entre distribuciones "limitantes" y "estacionarias"?

Estoy haciendo una pregunta sobre las cadenas de Markov y las dos últimas partes dicen esto:

¿Esta cadena de Markov posee una distribución limitante? Si su respuesta es "sí", encuentre la distribución limitante. Si su respuesta es "no", explique por qué.

¿Esta cadena de Markov posee una distribución estacionaria? Si su respuesta es "sí", encuentre la distribución estacionaria. Si su respuesta es "no", explique por qué.

¿Cuál es la diferencia? Anteriormente, pensé que la distribución límite estaba cuando se trabaja a cabo utilizando , pero esto es la 'th matriz de transición paso. Calcularon la distribución limitante usando , que pensé que era la distribución estacionaria. $P = CA^n C^{-1}$ $n$ $\Pi = \Pi P$

¿Cuál es cuál entonces?

markov-process

— Kaish
fuente

Su libro de texto puede estar haciendo una distinción que no es universal: por ejemplo, las notas de Karl Sigman sobre distribuciones limitantes definen que las distribuciones "limitantes" y "estacionarias" son sinónimos (definición 2.3 al final de la página 5). Por lo tanto, debe consultar las definiciones en su libro de texto para determinar la diferencia.

— whuber

@whuber Está diciendo algo como hacer ejercicio y esto no existe. Luego continúa diciendo "a pesar de que la distribución limitante no existe, la estacionaria sí existe. Sea

la distribución estacionaria ..." Pero yo le garantizamos que calculará la distribución limitante en la pregunta anterior, la resolvieron así. ¿Tiene sentido para ti?

lim_{n \to \infty} P_{i i}^{(n)}

$\lim_{n \rightarrow \infty} P_{ii}^{(n)}$

Π = (π_{0}, π_{1}, . . ., π_{n})

$\Pi = (\pi_0, \pi_1, ... ,\pi_n)$

— Kaish

@whuber En realidad, estoy bastante confundido ahora porque en la pregunta de distribución limitante anterior, no satisfacen la

π_{0} + π_{1} + π_{2} = 1

$\pi_0 + \pi_1 + \pi_2 = 1$ , ¿entonces quizás eso es diferente?

— Kaish

Una distribución estacionaria es aquella que es estable en el tiempo. Hasta donde sé, la distribución limitante de una cadena de Markov es estacionaria y si una cadena de Markov tiene una distribución estacionaria, también es una distribución limitante.

— shadowtalker 01 de

Respuesta aquí por Andreas podría ayudar quora.com/…

— Siddharth Shakya

Respuestas:

De una introducción al modelado estocástico de Pinsky y Karlin (2011):

$P = ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖$ $\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$ $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $(\frac{1}{2}, \frac{1}{2}) ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖ = (\frac{1}{2}, \frac{1}{2})$ $\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$

En una sección anterior, ya habían definido una " distribución de probabilidad limitante " por $\pi$

$lim_{n \to \infty} P_{i j}^{(n)} = π_{j} f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$

y equivalente

$lim_{n \to \infty} \Pr {X_{n} = j | X_{0} = i} = π_{j} > 0 f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$ (p. 165).

El ejemplo anterior oscila de manera determinista y, por lo tanto, no tiene un límite de la misma manera que la secuencia no tiene un límite. $\{1,0,1,0,1,\dots\}$

Afirman que una cadena de Markov regular (en la que todas las probabilidades de transición de n pasos son positivas) siempre tiene una distribución limitante, y demuestran que debe ser la única solución no negativa para

$π_{j} = \sum_{k = 0}^{N} π_{k} P_{k j}, j = 0, 1, \dots, N, \sum_{k = 0}^{N} π_{k} = 1$ $\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$ (p. 168 )

Luego, en la misma página que el ejemplo, escriben

Cualquier conjunto satisface (4.27) se denomina distribución de probabilidad estacionaria de la cadena de Markov. El término "estacionario" se deriva de la propiedad de que una cadena de Markov comenzó de acuerdo con una distribución estacionaria seguirá esta distribución en todos los puntos de tiempo. Formalmente, si , entonces para todos los . $(\pi_i)_{i=0}^{\infty}$ $\operatorname{Pr}\{X_0=i\}=\pi_i$ $\operatorname{Pr}\{X_n=i\}=\pi_i$ $n=1,2,\dots$

donde (4.27) es el conjunto de ecuaciones

$π_{i} \geq 0, \sum_{i = 0}^{\infty} π_{i} = 1, a n d π_{j} = \sum_{i = 0}^{\infty} π_{i} P_{i j} .$ $\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$

que es precisamente la misma condición de estacionariedad que la anterior, excepto ahora con un número infinito de estados.

Con esta definición de estacionariedad, la declaración en la página 168 puede reexpresarse retroactivamente como:

La distribución limitante de una cadena regular de Markov es una distribución estacionaria.
Si la distribución limitante de una cadena de Markov es una distribución estacionaria, entonces la distribución estacionaria es única.

— Shadowtalker
fuente

¿Puedes aclarar lo que quieres decir con 'las probabilidades de transición no cambian con el tiempo' para la estacionariedad? Tanto la distribución estacionaria como la limitante se refieren a las probabilidades sobre los estados.

— Juho Kokkala 01 de

Sí, veo que escribiste tu propia respuesta, pero reorganicé la mía para que fuera más correcta.

— shadowtalker 01 de

Aún no lo entiendo. Quiero decir, ¿a qué te refieres cuando dices "excepto ahora con un número infinito de estados ..."? ¿Puedes aclararlo más explícitamente?

— roni

@roni las dos expresiones son idénticas si dejas

N = \infty

$N=\infty$

— shadowtalker

En el bloque primero resaltado,

es la distribución estacionaria para el ejemplo, sin embargo, no tiene la limitación de distribución desde

oscilará, y por lo tanto no tiene estado estacionario. ¿Significa esto que no garantizará la existencia de un estado estable si solo se calcula la distribución estacionaria?

π = (1 / 2, 1 / 2)

$\pi=(1/2,1/2)$

P^{n}

$P^{n}$

— Guoyang Qin

Una distribución estacionaria es tal distribución que si la distribución sobre los estados en el paso es , entonces también la distribución sobre los estados en el paso es . Es decir, Una distribución limitante es tal distribución que no importa cuál sea la distribución inicial, la distribución sobre los estados converge a medida que el número de pasos va al infinito: $\pi$ $k$ $\pi$ $k+1$ $\pi$

π = π P .

$\begin{equation} \pi = \pi P. \end{equation}$

π

$\pi$

π

$\pi$

lim_{k \to \infty} π^{(0)} P^{k} = π,

$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$ independiente de

. Por ejemplo, consideremos una cadena de Markov cuyos dos estados son los lados de una moneda,

. Cada paso consiste en poner la moneda al revés (con probabilidad 1). Tenga en cuenta que cuando calculamos las distribuciones de estado, no son condicionales a los pasos anteriores, es decir, el tipo que calcula las probabilidades no ve la moneda. Entonces, la matriz de transición es

Si primero inicializamos la moneda volteándola al azar (

π^{(0)}

$\pi^{(0)}$

{h e a d s, t a i l s}

$\{heads, tails\}$

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$

), entonces también todos los pasos de tiempo subsiguientes siguen esta distribución. (Si lanza una moneda justa y luego la pone boca abajo, la probabilidad de obtener caras sigue siendo

). Por lo tanto,

es una distribución estacionaria para esta cadena de Markov.

π^{(0)} = (\begin{matrix} 0.5 & 0.5 \end{matrix})

$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

$2/3$ $2/3$ $1/3$

$6$

P = (\begin{matrix} 1 / 6 & 5 / 6 \\ 5 / 6 & 1 / 6 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

— Juho Kokkala
fuente

Buen punto sobre olvidar el estado inicial, lo ignoré por completo en mi respuesta.

— shadowtalker 01 de

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix})

$P = \begin{pmatrix}0&1\\1&0\end{pmatrix}$

@GuoyangQin Si tiene una nueva pregunta, es posible que desee publicarla como una pregunta (vinculando a esta si ayuda a proporcionar una pregunta). Aunque hubiera pensado que "estado estable" en este contexto significaría "distribución estacionaria", por lo que sería mejor definir claramente el término en la pregunta

— Juho Kokkala

Dejando de lado la notación, la palabra "estacionaria" significa "una vez que llegue allí, se quedará allí"; mientras que la palabra "limitar" implica "eventualmente llegarás allí si vas lo suficientemente lejos". Solo pensé que esto podría ser útil.

— Cielo azul
fuente

No está claro cómo se aplica esto a la pregunta. ¿Podrías explicar?

— whuber

Hola @whuber, quiero decir que una distribución limitante es necesariamente una distribución estacionaria, mientras que una distribución estacionaria no es necesariamente una distribución limitante. Por lo tanto hay una diferencia. Esto es esencialmente lo mismo que otras respuestas, pero creo que es más fácil de recordar.

— BlueSky

Gracias por la aclaración: nos muestra lo que está intentando lograr. Sin embargo, no puedo encontrar ninguna manera razonable de interpretar su descripción de "estacionario" de una manera que sea consistente con la definición matemática.

— whuber

La redacción de @whuber BlueSky me parece una noción muy simple de "punto fijo" en inglés. No estoy seguro de lo que podría significar su objeto.

— Richard Rast