¿Cómo ves que una cadena de Markov es irreducible?

12

Tengo algunos problemas para entender la propiedad de la cadena de Markov irreductible .

Se dice que irreducible significa que el proceso estocástico puede "pasar de cualquier estado a cualquier estado".

Pero, ¿qué define si puede pasar del estado al estado o no? $i$ $j$

La página de wikipedia ofrece la formalización:

El estado es accesible (escrito ) desde el estado , si existe un entero st $j$ $i\rightarrow j$ $i$ $n_{ij}>0$

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

entonces la comunicación es si y . $i\rightarrow j$ $j \rightarrow i$

De estos irreductibilidad se deduce de alguna manera.

stochastic-processes markov-process

— mavavilj
fuente

¿Cuál es la intuición sobre "accesibilidad"? No entiendo por qué tener una probabilidad condicional hace que algo sea "accesible".

— mavavilj

Puede mirar desde el punto de inaccesibilidad . Se dice que el estado es inaccesible desde si no hay posibilidad de llegar desde , es decir, para cualquier número de pasos la probabilidad de este evento sigue siendo . Para definir la accesibilidad, se deben cambiar los cuantificadores, es decir, a exist y a (que es lo mismo que , ya que la probabilidad es positiva).

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— nmerci

12

Aquí hay tres ejemplos de matrices de transición, los dos primeros para el caso reducible, el último para el caso irreducible.

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$ Para , cuando esté en el estado 3 o 4, permanecerá allí, y el lo mismo para los estados 1 y 2. No hay forma de pasar del estado 1 al estado 3 o 4, por ejemplo.

P_{1}

$P_1$

Para , puede llegar a cualquier estado desde los estados 1 a 3, pero una vez que esté en el estado 4, permanecerá allí. Para esto Por ejemplo, puede comenzar en cualquier estado y aún puede alcanzar cualquier otro estado, aunque no necesariamente en un solo paso. $P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$

— Christoph Hanck
fuente

5

Se dice que el estado es accesible desde un estado (generalmente denotado por ) si existe alguna tal que: Es decir, uno puede pasar del estado al estado en pasos con probabilidad . $j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

Si tanto como son verdaderas, entonces los estados y comunican (generalmente denotado por ). Por lo tanto, la cadena de Markov es irreducible si cada dos estados se comunican. $i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— nmerci
fuente

¿Es la en una potencia o un índice?

n

$n$

p_{i j}^{n}

$p_{ij}^n$

— mavavilj

Es un indice. Sin embargo, tiene una interpretación: si es una matriz de probabilidad de transición, entonces es el elemento -th de (aquí es una potencia) .

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

— nmerci

2

Sean y dos estados distintos de una cadena de Markov. Si hay alguna probabilidad positiva de que el proceso pase del estado al estado , cualquiera que sea el número de pasos (digamos 1, 2, 3 ), entonces decimos que el estado es accesible desde el estado . $i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

Notationally, expresamos esto como . En términos de probabilidad, se expresa de la siguiente manera: un estado es accesible desde el estado , si existe un número entero tal que . $i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

De manera similar, decimos que , si existe un número entero tal que . $j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

Ahora, si tanto como son verdaderas, entonces decimos que los estados y comunican entre sí, y que se expresan como . En términos de probabilidad, esto significa que existen dos enteros tal que y . $i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

Si todos los estados en la Cadena de Markov pertenecen a una clase de comunicación cerrada , entonces la cadena se llama una cadena de Markov irreducible . La irreductibilidad es una propiedad de la cadena.

En una Cadena de Markov irreducible, el proceso puede ir de cualquier estado a cualquier estado , sea cual sea el número de pasos que requiera.

— LVRao
fuente

1

Algunas de las respuestas existentes me parecen incorrectas.

Como se cita en los Procesos estocásticos de J. Medhi (página 79, edición 4), una cadena de Markov es irreducible si no contiene ningún subconjunto 'cerrado' adecuado que no sea el espacio de estado.

Entonces, si en su matriz de probabilidad de transición, hay un subconjunto de estados que no puede 'alcanzar' (o acceder) a ningún otro estado aparte de esos estados, entonces la cadena de Markov es reducible. De lo contrario, la cadena de Markov es irreducible.

— Cósmico
fuente

-1

Primero una palabra de advertencia: nunca mire una matriz a menos que tenga una razón seria para hacerlo: lo único que se me ocurre es buscar dígitos escritos incorrectamente o leer en un libro de texto.

Si es su matriz de transición, calcule . Si todas las entradas son distintas de cero, la matriz es irreducible. De lo contrario, es reducible. Si es demasiado grande, calcule con tan grande como pueda. La misma prueba, un poco menos precisa. $P$ $\exp(P)$ $P$ $P^n$ $n$

Irreducibilidad significa: puede pasar de cualquier estado a cualquier otro estado en un número finito de pasos.

En el ejemplo Christoph Hanck , no puede ir directamente del estado 1 al estado 6, pero puede ir 1 -> 2 -> 6 $P_3$

— titus
fuente

1

¿Cómo define "puede pasar del estado al estado "?

i

$i$

j

$j$

— mavavilj

1

Realmente necesitas preguntarle a tu maestro. Él no te va a comer, ya sabes.

— titus

cuando usa exp (P), ¿se refiere a la matriz exponencial? o , donde i, j es el término ij de la matriz P?

e^{P_{i j}}

$e^{P_{ij}}$

— Hunle

Me refiero a la matriz exponencial

— titus