Modelos de Markov con probabilidades de transición condicional.


10

Primero, permítanme reconocer por adelantado que no estoy tan versado en estadística y matemáticas como me gustaría estar. Algunos podrían decir que tienen el conocimiento suficiente para ser peligrosos. : DI me disculpo si no estoy usando la terminología correctamente.

Estoy tratando de modelar las probabilidades de un sistema en transición de un estado a otro. Un modelo simple de Markov es un buen comienzo. (Conjunto de estados, conjunto de probabilidades de estado inicial, conjunto de probabilidades de transición entre estados).

Sin embargo, el sistema que estoy modelando es más complejo que eso. Las probabilidades de transición que conducen a un estado en el tiempo T dependen sin duda de variables distintas del estado en T-1. Por ejemplo, S1 -> S2 podría tener una probabilidad de transición del 40% cuando brilla el sol, pero la probabilidad de S1 -> S2 llega al 80% cuando llueve.

Información adicional de las preguntas de los comentaristas:

  1. Los estados son observables.
  2. Solo habrá 5-10 estados.
  3. Actualmente hay unas 30 covariables que queremos investigar, aunque el modelo final ciertamente tendrá menos que esto.
  4. Algunas covariables son continuas, otras son discretas.

Tres preguntas:

  1. ¿Cómo puedo incorporar probabilidades de transición condicional en mi modelo de Markov?
  2. O, ¿hay otra perspectiva completamente desde la cual debería abordar este tema?
  3. Además, ¿qué palabras clave / conceptos debo buscar en línea para obtener más información al respecto?

Ya he estado en la web buscando cosas como "modelos de Markov con probabilidades de transición condicional", pero hasta ahora nada me ha abofeteado y dijo: "¡Esta es su respuesta, tonto!"

Gracias por tu ayuda y paciencia.


Bienvenido al sitio. ¿Qué tan grande es el espacio de estado? ¿ Observa el estado en que se encuentra su proceso en cada paso? ¿Cuántas covariables (predictores adicionales) tienes? ¿Son continuos, discretos o quizás una mezcla de ambos?
cardenal

Gracias cardenal. Sí, los estados son observables. Probablemente habrá de 5 a 10 estados. (Todavía es incierto, pero no espero un espacio de estado muy grande). En este momento, tenemos una lista de aproximadamente 30 covariables adicionales que tenemos la intención de investigar, aunque la mayoría de ellas probablemente terminará teniendo poco efecto. Algunos son continuos y otros son discretos.
Aaron Johnson

Respuestas:


5

Siempre puede tener una cadena de markov de segundo orden o superior. En ese caso, su modelo todo listo incluye toda la información de transición probabilística. Puede consultar Dynamic Bayesian Networks, que es un modelo gráfico de generalización de las cadenas de Markov que se utilizan con frecuencia en el aprendizaje automático.


YBE, gracias por la rápida respuesta! ¿Esto (modelar el sistema como una cadena de segundo orden o superior) me permite modelar covariables continuas, o simplemente covariables discretas? ¿Y puede señalarme un enlace que dé un buen ejemplo de lo que está hablando? ¡Gracias!
Aaron Johnson

Hay un papel que puedes consultar. Primero comienza a describir las cadenas de primer orden, luego describe la situación de las cadenas de orden superior. (Cadenas de Markov multivariadas de orden superior y sus aplicaciones por Ching, Ng, Fung) Si está interesado en cosas de aprendizaje automático, le sugiero que consulte el sitio web de Kevin Murphy. También tiene una caja de herramientas MATLAB con la que puedes jugar.
YBE

+1 a su respuesta para la referencia al papel de Ching, Ng y Fung. Esa es una buena para tener. Sin embargo, después de leerlo, parece que solo cubre variables discretas (que es lo que esperaba). Aunque puedo discretizar mis variables continuas, todavía tengo curiosidad: ¿hay algún modelo que pueda manejar el continuo continuo? variables?
Aaron Johnson

No soy un experto, pero supongo que los resultados deberían ser válidos para un caso continuo en general. El filtro de Kalman, por ejemplo, se ejecuta en un HMM (cadena de Markov de primer orden) con estados continuos.
YBE

No elegí tu respuesta de inmediato porque estaba esperando más candidatos. Nunca vinieron, y lo olvidé. Dos años más tarde, ahora te otorgo al aceptar tu respuesta. Gracias por la info! Por cierto, ¿has encontrado algo más sobre este tema en los últimos dos años? Todavía es algo que me interesa.
Aaron Johnson


0

T1

Este paquete parece ser bastante bueno para modelar los efectos de las covariables en las transiciones entre resultados categóricos a lo largo del tiempo. No ayudaría si realmente necesita una cadena de orden superior, pero no parece que ese sea el caso basado en su pregunta original.

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.