Estimando las probabilidades de la cadena de Markov

12

¿Cuál sería la forma común de estimar la matriz de transición MC dada la serie temporal?

¿Hay una función R para hacer eso?

markov-process

— usuario333
fuente

¿Es esta una cadena de Markov de estado discreto o continuo?

— Macro

Discreto, creo. Tengo 5 estados posibles S1 a S5

— user333

Sobre la base de las buenas respuestas anteriores: sí, hay una manera que es consciente de la posición. Creo que es posible por medio de modelos de Markov de enésimo orden.

14

Como la serie temporal tiene un valor discreto, puede estimar las probabilidades de transición por las proporciones de la muestra. Deje ser el estado del proceso en el tiempo , sea la matriz de transición entonces $Y_{t}$ $t$ ${\bf P}$

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

Como se trata de una cadena de Markov, esta probabilidad depende solo de , por lo que puede estimarse por la proporción de la muestra. Sea la cantidad de veces que el proceso pasó del estado al . Luego, $Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

donde es el número de estados posibles ( en su caso). El denominador, , es el número total de movimientos fuera del estado . Estimar las entradas de esta manera en realidad corresponde al estimador de máxima verosimilitud de la matriz de transición, viendo los resultados como multinomiales, condicionados por . $m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

Editar: Esto supone que tiene la serie de tiempo observada a intervalos espaciados uniformemente. De lo contrario, las probabilidades de transición también dependerían del lapso de tiempo (incluso si todavía son markovian).

— Macro
fuente

66

Yo escucho lo que estás diciendo. Básicamente, las frecuencias observadas serán mi matriz ... ¡En palabras simples!

— user333

¿Qué tal el espacio de estado continuo? ¿Me cuesta un poco entender el concepto?

— user333

1

Para un espacio de estado continuo, el problema se vuelve mucho más complicado, ya que necesita estimar una función de transición en lugar de una matriz. En ese caso, dado que la probabilidad marginal de estar en un estado particular es 0 (de manera similar a cómo la probabilidad de tomar un punto particular en el espacio muestral es 0 para cualquier distribución continua), lo que he descrito anteriormente no tiene sentido. En el caso continuo Creo que la estimación de la función de transición es la solución a un conjunto de ecuaciones diferenciales (no estoy muy familiarizado con esto para alguien por favor me corrija si me equivoco)

— Macro

¿Este método no supone 1 observación continua, en lugar de muchas según la publicación a continuación? Por ejemplo, imagine que E era un estado absorbente ... ¿Entonces esto no se revelaría aquí seguramente?

— HCAI

4

Es muy, con la hipótesis de que su serie temporal es estacionaria:

Para simplificar la excelente respuesta de Macro

Aquí tienes tu serie de tiempo con 5 estados: A, B, C, D, E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

Solo tiene que contar primero las transiciones: - dejando A: 9 transiciones Entre esas 9 transiciones, 5 son A-> A, 0 A-> B, 1 A-> C, 2 A-> D, 1 A-> E Entonces, la primera línea de la matriz de probabilidad de transición es [5/9 0 1/9 2/9 1/9]

Haces eso contando para cada estado y luego obtienes tu matriz de 5x5.

— Mickaël S
fuente

Gran ejemplo, gracias. Entonces, las cadenas de Markov se preocupan solo por el número de transiciones, no por su ubicación, ¿correcto? Por ejemplo, ¿ AAABBBAtendría una misma matriz como ABBBAAA?

— Marcin

Sí, con la cadena de Markov, si tiene el mismo número de transición, tendrá la misma matriz. Es una buena pregunta. Incluso si no tiene exactamente la misma secuencia, tiene el mismo "comportamiento" y eso es lo más importante en el modelado, si desea repetir exactamente la misma secuencia, ¿por qué modelar? Solo repite tus datos.

— Mickaël S

¿Existe otro método para contar las transiciones que sea consciente de la posición? Estoy investigando el descifrado de contraseñas, por lo que sería bueno tener un método para evaluar cuál es el próximo personaje más probable. El problema con las contraseñas es que las personas tienden a seguir reglas como poner * al comienzo y al final de la contraseña, o terminar una contraseña con un 1, por lo que no solo cuentan las transiciones, sino también su ubicación.

— Marcin

ok, no pensé en ese caso, ¿estás seguro de que Markov Chain es la mejor manera de hacer lo que quieres hacer? Si lo crees, ¿cuál es tu estado (cada personaje es un estado)? ¿Y cómo planeas calcular la transición? ¿Cómo planeas usar la cadena de Markov?

— Mickaël S

1

La función markovchainFit del paquete markovchain se ocupa de su problema.

— Giorgio Spedicato
fuente