¿Qué son las cadenas de Markov?

Actualmente estoy leyendo algunos documentos sobre el agrupamiento de la cadena de Markov y no puedo ver la diferencia entre una cadena de Markov y un gráfico ponderado dirigido simple.

Por ejemplo, en el artículo Optimización óptima del espacio de estado en las cadenas de Markov , proporcionan la siguiente definición de un CTMC (cadena de Markov de tiempo continuo):

Consideramos un CTMC finito con espacio de estado por una matriz de tasa de transición .S = { x 1 , x 2 , … , x n } Q : S × S → R$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

No mencionan en absoluto la propiedad de Markov y, de hecho, si el peso en los bordes representa una probabilidad, creo que la propiedad de Markov es trivial, ya que la probabilidad depende solo del estado actual de la cadena y no de la ruta que conduce lo.

En otro artículo sobre las propiedades relacionales de la capacidad de iluminación, las cadenas de Markov se definen de manera similar:

Una cadena de Markov se representará como un triplete donde es el conjunto finito de estados de , la matriz de probabilidad de transición que indica la probabilidad de pasar de un estado a otro, y es el distribución de probabilidad inicial que representa la probabilidad de que el sistema comience en un determinado estado.( S , P , π ) S M P $M$$(S, P, \pi)$$S$$M$$P$$\pi$

Nuevamente, no se menciona el pasado, el futuro o la independencia.

Hay un tercer papel Simple O (m logn) Time Markov Chain Lumping donde no solo nunca afirman que los pesos en los bordes son probabilidades, sino que incluso dicen:

En muchas aplicaciones, los valores no son negativos. Sin embargo, no hacemos esta suposición, porque también hay aplicaciones en las que se elige deliberadamente como , por lo que generalmente es negativo.W ( s , s ) - W ( s , S ∖ { s } $W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

Además, se afirma que el agrupamiento debería ser una forma de reducir el número de estados al tiempo que se mantiene la propiedad de Markov (agregando el estado "equivalente" en un estado más grande). Sin embargo, para mí, parece que se trata simplemente de sumar probabilidades y ni siquiera debería garantizar que las peobabilidades resultantes de las transiciones a / desde los estados agregados estén en el rango . Entonces, ¿qué preserva realmente el bulto?$[0,1]$

Entonces, hay dos posibilidades que veo:

• No entendí qué es una cadena de Markov, o
• El uso del término cadena de Markov en esos documentos es falso

¿Alguien podría aclarar la situación?

Realmente parece que hay diferentes comunidades que usan ese término y significan cosas muy diferentes. De estos 3 artículos que estoy considerando parece que la propiedad de Markov es trivial o inútil, mientras que mirando un tipo diferente de documentos parece fundamental.

$N$$N \times N$

Pero el primer artículo define una notación consistente con una cadena de Markov de tiempo continuo, a veces llamada proceso de Markov , mientras que el segundo artículo define una notación consistente con una cadena de Markov de tiempo discreto . Ellos dicen

$P$$\pi$

$[0,1]$$P$$1$$\pi$$1$

No puedo leer el tercer documento, está pagado. Si se requiere que las entradas en cada columna de la matriz sumen 1, entonces son probabilidades y están hablando de cadenas de Markov de tiempo discreto. Si las entradas en cada columna pueden sumar un número arbitrario, las entradas representan tasas, no probabilidades, y están hablando de cadenas de Markov de tiempo continuo.

$1$

Con las cadenas de Markov de tiempo continuo y de tiempo discreto, la propiedad de Markov está implícita en los pesos de borde constantes (o de manera equivalente, las entradas constantes en la matriz de transición).

Las cadenas de Markov vienen en dos sabores: tiempo continuo y tiempo discreto.

Tanto las cadenas de Markov de tiempo continuo (CTMC) como las cadenas de Markov de tiempo discreto (DTMC) se representan como gráficos ponderados dirigidos.

Para los DTMC, las transiciones siempre toman una unidad de "tiempo". Como resultado, no hay elección sobre cuál debería ser su peso en un arco: usted pone la probabilidad de ir a "j" dado que está en "i".

Para los CTMC, el tiempo de transición entre dos estados es necesariamente dado por una variable aleatoria exponencial. Esta es la diferencia clave entre los CTMC y los DTMC: los DTMC siempre tienen un tiempo de transición de unidad. Los CTMC tienen un tiempo de transición aleatorio.

Para un CTMC, la convención generalmente consiste en poner pesos en un arco de acuerdo con la tasa de la variable aleatoria exponencial que va desde el origen hasta el destino. Es decir, la convención es poner tasas en los arcos, no probabilidades.

Tasas negativas

Aunque todos los CTMC que recuerdo estaban representados con tasas positivas en los bordes, las tasas negativas aparecen en el análisis de CTMC.

Digamos que estamos en el estado A, que está conectado a B, C y D como se muestra a continuación.

A -> B (la tasa en A desde B es negativa) A -> C (la tasa en A desde C es negativa) D -> A (la tasa en A desde D es positiva)

Es probable que esto no sea exactamente a lo que se refiere su trabajo; Lo menciono para mostrar que los pesos negativos no son necesariamente ridículos si alguien estaba trabajando con una convención adecuada.

Propiedad Markov

Para DTMC, tienes razón. La propiedad markov se satisface trivialmente. Para los CTMC, la propiedad markov se satisface porque las transiciones están dadas por variables aleatorias exponenciales (que son "sin memoria"). Si las transiciones no fueran dadas por variables aleatorias exponenciales (digamos que eran uniformes), entonces estaríamos hablando de "Cadenas Semi-Markov" o "Procesos Semi-Markov".