Cálculo de la probabilidad logarítmica de MLE (cadenas de Markov)

Actualmente estoy trabajando con las cadenas de Markov y calculé la estimación de máxima verosimilitud usando probabilidades de transición según lo sugerido por varias fuentes (es decir, el número de transiciones de a a b dividido por el número de transiciones generales de a a otros nodos).

Ahora quiero calcular la probabilidad de registro del MLE.

maximum-likelihood markov-process likelihood

— fsociety
fuente

Ya ha calculado la estimación de probabilidad máxima de las probabilidades de transición y ahora desea calcular la probabilidad de registro de qué exactamente.

— Nick

Sea un camino de la cadena de Markov y deje que sea la probabilidad de observar el camino cuando es el verdadero valor del parámetro (también conocido como la función de probabilidad para ). Usando la definición de probabilidad condicional, sabemos $\{ X_i \}_{i=1}^{T}$ $P_{\theta}(X_1, ..., X_T)$ $\theta$ $\theta$

P_{θ} (X_{1}, . . ., X_{T}) = P_{θ} (X_{T} | X_{T - 1}, . . ., X_{1}) \cdot P_{θ} (X_{1}, . . ., X_{T - 1})

$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}, ..., X_1) \cdot P_{\theta}(X_1, ..., X_{T-1})$

Como se trata de una cadena de Markov, sabemos que , así que esto simplifica esto a $P_{\theta}(X_T | X_{T-1}, ..., X_1) = P_{\theta}(X_T | X_{T-1} )$

P_{θ} (X_{1}, . . ., X_{T}) = P_{θ} (X_{T} | X_{T - 1}) \cdot P_{θ} (X_{1}, . . ., X_{T - 1})

$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}) \cdot P_{\theta}(X_1, ..., X_{T-1})$

Ahora, si repites esta misma lógica veces, obtienes $T$

P_{θ} (X_{1}, . . ., X_{T}) = \prod_{i = 1}^{T} P_{θ} (X_{i} | X_{i - 1})

$P_{\theta}(X_1, ..., X_T) = \prod_{i=1}^{T} P_{\theta}(X_i | X_{i-1} )$

donde debe interpretarse como el estado inicial del proceso. Los términos en el lado derecho son solo elementos de la matriz de transición. Dado que fue la probabilidad de registro que solicitó, la respuesta final es: $X_0$

L (θ) = \sum_{i = 1}^{T} \log (P_{θ} (X_{i} | X_{i - 1}))

${\bf L}(\theta) = \sum_{i=1}^{T} \log \Big( P_{\theta}(X_i | X_{i-1} ) \Big)$

Esta es la probabilidad de una sola cadena de Markov: si su conjunto de datos incluye varias cadenas de Markov (independientes), entonces la probabilidad completa será una suma de términos de este formulario.

— Macro
fuente

Wow, muchas gracias por la respuesta. En este caso, es la probabilidad de "transición" tomada del MLE, ¿verdad?

P_{θ}

$P_{\theta}$

— fsociety

@ph_singer, de nada. es la probabilidad de pasar del estado a , dado el valor del parámetro, . Si no impuso ninguna estructura en la matriz de transición (que es lo que parece), entonces simplemente denota el vector de probabilidades de transición (y los MLE son solo las proporciones de la muestra, como indicó correctamente en su enunciado de preguntas), entonces, sí : solo será la proporción de muestra de movimientos del estado que terminaron en el estado .

P_{θ} (X_{i} | X_{i - 1})

$P_{\theta}(X_i|X_{i-1})$

X_{i - 1}

$X_{i-1}$

X_{i}

$X_i$

θ

$\theta$

θ

$\theta$

P_{{\hat{θ}}_{M L E}} (X_{i} | X_{i - 1})

$P_{\hat{\theta}_{{\rm MLE}}}(X_i|X_{i-1})$

X_{i - 1}

$X_{i-1}$

X_{i}

$X_{i}$

— Macro

¡Gracias de nuevo! Solo una pregunta más: si uso otro orden (p. Ej., K = 2), ¿cómo funcionaría este proceso?

— fsociety

¿Puede aclarar qué quiere decir con "pedido"?

— Macro

(+1) El OP probablemente significa para denotar un MC de segundo orden , es decir, dependiendo de los dos estados anteriores lugar de solo el más reciente .

k = 2

$k=2$

X_{i - 1}, X_{i - 2}

$X_{i-1},X_{i-2}$

X_{i - 1}

$X_{i-1}$

— cardenal