Preguntas etiquetadas con markov-process

Tengo un conjunto completo de secuencias (432 observaciones para ser precisos) de 4 estados : por ejemploA−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) EDITAR …

16 r  matlab  markov-process 

¿Cuál es la diferencia entre las cadenas de Markov y los procesos de Markov? Estoy leyendo información contradictoria: a veces la definición se basa en si el espacio de estado es discreto o continuo, y otras veces se basa en si el tiempo es discreto o continuo. Diapositiva 20 de …

16 terminology  stochastic-processes  markov-process 

Mi pregunta básica es: ¿cómo tomaría muestras de una distribución incorrecta? ¿Tiene sentido tomar muestras de una distribución incorrecta? El comentario de Xi'an aquí aborda la pregunta, pero estaba buscando más detalles sobre esto. Más específico para MCMC: Al hablar sobre MCMC y leer documentos, los autores hacen hincapié en …

15 distributions  bayesian  mcmc  markov-process  improper-prior 

Estoy tratando de entender las cadenas de Markov usando SAS. Entiendo que un proceso de Markov es uno en el que el estado futuro depende solo del estado actual y no del estado pasado y hay una matriz de transición que captura la probabilidad de transición de un estado a …

15 probability  simulation  mcmc  monte-carlo  markov-process 

Estaba pasando por algunas conferencias relacionadas con MCMC. Sin embargo, no encuentro un buen ejemplo de cómo se usa. ¿Alguien puede darme un ejemplo concreto? Todo lo que puedo ver es que corren una cadena de Markov y dicen que su distribución estacionaria es la distribución deseada. Quiero un buen …

14 probability  bayesian  mcmc  markov-process 

Aprendizaje de refuerzo: una introducción. Segunda edición, en progreso ., Richard S. Sutton y Andrew G. Barto (c) 2012, pp. 67-68. Resolver una tarea de aprendizaje de refuerzo significa, más o menos, encontrar una política que logre muchas recompensas a largo plazo. Para MDP finitos, podemos definir con precisión una …

14 markov-process  reinforcement-learning 

Estoy buscando un paquete R general, limpio y rápido (es decir, usando rutinas C ++) para simular rutas desde una difusión no lineal no homogénea como (1) usando el esquema de Euler-Maruyama, el esquema de Milstein (o cualquier otro). Está destinado a integrarse en un código de estimación más grande …

13 r  simulation  stochastic-processes  markov-process 

¿Cuál sería la forma común de estimar la matriz de transición MC dada la serie temporal? ¿Hay una función R para hacer eso?

12 markov-process 

Supongo que entiendo la ecuación de la condición de equilibrio detallado, que establece que para la probabilidad de transición y la distribución estacionaria , una cadena de Markov satisface el equilibrio detallado siqqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), Esto tiene más sentido para mí si lo reformulo como: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. Básicamente, la probabilidad de transición …

12 probability  mcmc  markov-process 

Tengo algunos problemas para entender la propiedad de la cadena de Markov irreductible . Se dice que irreducible significa que el proceso estocástico puede "pasar de cualquier estado a cualquier estado". Pero, ¿qué define si puede pasar del estado al estado o no?jiiijjj La página de wikipedia ofrece la formalización: …

12 stochastic-processes  markov-process 

Estoy luchando por hacer la conexión matemática entre una red neuronal y un modelo gráfico. En los modelos gráficos, la idea es simple: la distribución de probabilidad se factoriza de acuerdo con las camarillas en el gráfico, y los potenciales generalmente son de la familia exponencial. ¿Existe un razonamiento equivalente …

11 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

Tengo un modelo estocástico utilizado para simular series temporales de algún proceso. Estoy interesado en el efecto de cambiar un parámetro a un valor específico y quiero mostrar la diferencia entre las series de tiempo (digamos el modelo A y el modelo B) y algún tipo de intervalo de confianza …

11 time-series  predictive-models  markov-process 

Me gustaría resolver el Proyecto Euler 213 pero no sé por dónde empezar porque soy un laico en el campo de la Estadística, tenga en cuenta que se requiere una respuesta precisa para que el método Monte Carlo no funcione. ¿Podría recomendarme algunos temas de estadísticas para que los lea? …

11 self-study  monte-carlo  markov-process 

Dada una serie (observada) con , ¿existe una prueba estadística para probar la hipótesis nula de que (es decir, la propiedad markov)?X t ∈ { 1 , . . . , N } P ( X t | X t - 1 , X t - 2 , . . …

11 time-series  hypothesis-testing  markov-process 

Actualmente estoy haciendo un análisis en un sitio web que requiere que cree un diagrama de árbol de decisión que muestre la ruta probable que las personas toman cada vez que llegan al sitio web. Estoy tratando con un data.frameque muestra los caminos de todos los clientes al sitio, comenzando …

10 r  probability  data-visualization  markov-process