¿Cuál es la diferencia entre las cadenas de Markov y los procesos de Markov?

16

Estoy leyendo información contradictoria: a veces la definición se basa en si el espacio de estado es discreto o continuo, y otras veces se basa en si el tiempo es discreto o continuo.

Diapositiva 20 de este documento :

Un proceso de Markov se denomina cadena de Markov si el espacio de estado es discreto, es decir, es finito o el espacio contable es discreto, es decir, es finito o contable.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Un proceso de Markov es la versión de tiempo continuo de una cadena de Markov.

O se puede usar la cadena de Markov y el proceso de Markov como sinónimos, precisando si el parámetro de tiempo es continuo o discreto, así como si el espacio de estado es continuo o discreto.

Actualización 2017-03-04: se hizo la misma pregunta en https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangebly

terminology stochastic-processes markov-process

— Franck Dernoncourt
fuente

1

En mi experiencia, la primera definición es incorrecta. Las cadenas de Markov se usan a menudo en el contexto del muestreo de una distribución posterior (MCMC). Estos posteriores pueden definirse en un espacio de estado finitnte o continuo; entonces la primera definición es probablemente incorrecta. El segundo tiene más sentido. Sin embargo, no creo que haya mucha diferencia entre ellos, ya que a menudo he visto la frase, cadenas de Markov de tiempo continuo.

— Greenparker

1

Recuerdo que lo que aprendí del libro de texto es que el proceso de Markov es el término más genérico, y la cadena de Markov es un caso especial discreto en el tiempo y discreto.

— Haitao Du

8

Desde el prefacio hasta la primera edición de "Cadenas de Markov y estabilidad estocástica" de Meyn y Tweedie:

Tratamos aquí con las cadenas de Markov. A pesar de los intentos iniciales de Doob y Chung [99,71] de reservar este término para sistemas que evolucionan en espacios contables con parámetros de tiempo discretos y continuos, el uso parece haber disminuido (ver, por ejemplo, Revuz [326]) que las cadenas de Markov se mueven tiempo discreto, en cualquier espacio que deseen; y tales son los sistemas que describimos aquí.

Editar: las referencias citadas por mi referencia son, respectivamente:

99: JL Doob. Procesos estocásticos . John Wiley & Sons, Nueva York 1953

71: KL Chung. Cadenas de Markov con probabilidades de transición estacionarias . Springer-Verlag, Berlín, segunda edición, 1967.

326: D. Revuz. Cadenas de Markov . Holanda Septentrional, Amsterdam, segunda edición, 1984.

— Taylor
fuente

6

Un método de clasificación de procesos estocásticos se basa en la naturaleza de time parameter( discreto o continuo ) y state space( discreto o continuo ). Esto lleva a cuatro categorías de procesos estocásticos.

Si el state spaceproceso estocástico es discreto , ya time parametersea discreto o continuo , el proceso generalmente se denomina cadena .

Si un proceso estocástico posee la propiedad de Markov , independientemente de la naturaleza del parámetro de tiempo (discreto o continuo) y el espacio de estado (discreto o continuo) , entonces se llama un proceso de Markov . Por lo tanto, tendremos cuatro categorías de procesos de Markov.

A continuous time parameter, discrete state spaceproceso estocástico que posee la propiedad de Markov se llama una cadena de Markov parámetro continuo (CTMC) .

A discrete time parameter, discrete state spaceproceso estocástico que posee la propiedad de Markov se llama una cadena de Markov parámetro discreto (DTMC) .

Del mismo modo, podemos tener otros dos procesos de Markov.

Actualización 2017-03-09:

Every independent increment process is a Markov process.

Poisson processtener la propiedad de incremento independiente es un Markov processparámetro de tiempo continuo y espacio de estado discreto.

Brownian motion processtener la propiedad de incremento independiente es un Markov processparámetro de tiempo continuo y un proceso continuo de espacio de estado.

— LVRao
fuente