Verifique la propiedad sin memoria de una cadena de Markov

17

Sospecho que una serie de secuencias observadas son una cadena de Markov ...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

Sin embargo, ¿cómo podría verificar que realmente respetan la propiedad sin memoria de

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

¿O al menos demostrar que son de naturaleza Markov? Tenga en cuenta que estas son secuencias observadas empíricamente. ¿Alguna idea?

EDITAR

Solo para agregar, el objetivo es comparar un conjunto predicho de secuencia de los observados. Por lo tanto, apreciaríamos los comentarios sobre la mejor manera de compararlos.

Matriz de transición de primer orden

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ donde m = A..E indica

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

Valores propios de M

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

Vectores propios de M

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
fuente

¿Las columnas contienen la serie y las filas los elementos de las secuencias? ¿Cuál es el número observado de filas y columnas?

— mpiktas

2

Posible duplicado: stats.stackexchange.com/questions/29490/…

— mpiktas

@mpiktas Las filas representan las secuencias independientes observadas de transiciones a través de los estados AD. Hay unas 400 secuencias ... Tenga en cuenta que las secuencias observadas no son todas de la misma longitud. De hecho, la matriz anterior en muchos casos está aumentada por ceros. Gracias por el enlace por cierto. Parece que todavía hay mucho espacio para trabajar en este campo. ¿Tienes alguna otra idea? Saludos,

— HCAI

1

La regresión lineal fue un ejemplo para fortalecer el punto de mi argumento. Es decir, es posible que no necesite probar la propiedad de Markov directamente, solo necesita ajustar un módem que asume la propiedad de Markov y luego verificar la validez del modelo.

— mpiktas

1

Recuerdo vagamente que he visto en alguna parte una prueba de hipótesis para H0 = {Markov} vs H1 = {Markov orden 2}. Esto podria ayudar.

— Stéphane Laurent

5

Me pregunto si lo siguiente daría una prueba válida de Pearson para las proporciones de la siguiente manera. $\chi^2$

Calcule las probabilidades de transición de un paso: ya lo hizo.
Obtener las probabilidades del modelo de dos ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
Obtenga las probabilidades empíricas de dos pasos ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
Forma Pearson prueba estadística $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

Es tentador para mí pensar que cada , de modo que el total . Sin embargo, no estoy completamente seguro de eso, y agradecería sus pensamientos al respecto. No no soy asimismo sertain co acerca de si hay que ser paranoico acerca de la independencia, y sin querer dividir la muestra en dos mitades para estimar y . $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— StasK
fuente

¿Las probabilidades no tienen que tener una distribución normal con media 0 y varianza = 1 para que esto se mantenga? Me interesaría mucho saber qué piensa alguien aquí.

— HCAI

Eso es lo que se supone que son los términos en la suma, asintóticamente con grandes recuentos.

— StasK

6

La propiedad de Markov puede ser difícil de probar directamente. Pero podría ser suficiente para ajustarse a un modelo que asume la propiedad de Markov y luego probar si el modelo cumple. Puede resultar que el modelo ajustado sea una buena aproximación que sea útil para usted en la práctica, y no debe preocuparse si la propiedad de Markov realmente es válida o no.

El paralelo se puede dibujar a la regresión lineal. La práctica habitual no es probar si la linealidad es válida, sino si el modelo lineal es una aproximación útil.

— mpiktas
fuente

Esta parece ser la mejor opción en realidad, solo que en realidad no puedo comparar un modelo lineal con ningún dato experimental real. ¿O tenías algo más en mente?

— HCAI

6

Para concretar la sugerencia de la respuesta anterior, primero debe estimar las probabilidades de Markov, suponiendo que sea Markov. Vea la respuesta aquí Estimación de las probabilidades de la cadena de Markov

Usted debe obtener una matriz de 4 x 4 en base a la proporción de las transiciones de un estado A a A, de A a B, etc. Llame a esta matriz . debería ser la matriz de transición de dos pasos: A a A en 2 pasos, y así sucesivamente. Luego puede probar si su matriz de transición de 2 pasos observada es similar a . $M$ $M^2$ $M^2$

Como tiene muchos datos para la cantidad de estados, puede estimar partir de la mitad de los datos y probar utilizando la otra mitad; está probando las frecuencias observadas contra las probabilidades teóricas de un multinomio. Eso debería darte una idea de qué tan lejos estás. $M$ $M^2$

Otra posibilidad sería ver si las proporciones básicas del estado: proporción del tiempo pasado en A, tiempo pasado en B, coincide con el vector propio del valor propio de la unidad de M. Si su serie ha alcanzado algún tipo de estado estable, la proporción de tiempo en cada El estado debe tender a ese límite.

— Placidia
fuente

Hay un poco que ver allí. He calculado la matriz de transición

, pero no estoy seguro de cómo calcularías el

empíricamente. ¿Podría aclarar ese punto? Saludos,

M

$M$

M^{2}

$M^2$

— HCAI

Además, el último comentario es muy interesante, aunque no tengo el tiempo dedicado a cada estado de mis secuencias observadas. Solo tengo el tiempo total para cada fila. Entonces eso puede limitar la aplicabilidad de ese método. ¿Cuáles son tus pensamientos?

— HCAI

1

Hazlo de la misma manera que hiciste M, solo que en lugar de mirar las transiciones vecinas más cercanas (por ejemplo, las secuencias AB), mira los pares que están separados por 2. Entonces, si un sujeto se convierte en ACB, eso cuenta para su conteo de transición AB. También lo hace ABB. Cree una matriz donde el elemento en la fila i, la columna j contiene las transiciones i a j. Luego divida por los totales de la columna. Desea que las columnas sumen 1. Bajo la propiedad Markov, esta matriz debe estar cerca de

M^{2}

$M^2$

— Placidia

RE: equilibrio. Asumí que las transiciones ocurren en momentos determinados; digamos que cada segundo, usted pasa del estado actual al siguiente. Puede tomar la frecuencia de los estados A, B, C y D cerca de los extremos de las secuencias, o a través de secuencias para estimar el comportamiento límite.

— Placidia

En R, si hace eigen (M), debe obtener los valores propios y los vectores propios de M. Un valor propio será 1. El vector propio correspondiente debe ser proporcional a sus proporciones de estado estacionario ... si es Markov.

— Placidia

2

Más allá de la propiedad de Markov (MP), otra propiedad es la homogeneidad del tiempo (TH): puede ser Markov pero con su matriz de transición dependiendo del tiempo . Por ejemplo, puede depender del día de la semana en si las observaciones son diarias, y luego una dependencia de condicional en puede diagnosticarse si TH se asume indebidamente. $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

Suponiendo que TH se cumple, una posible verificación para MP es probar que es independiente de condicional a , como sugirieron Michael Chernick y StasK. Esto se puede hacer usando una prueba para la tabla de contingencia. Podemos construir las tablas de contingencia de y condicionadas a para los valores posibles $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ y prueba de independencia. Esto también se puede hacer usando con en lugar de . $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

En R, tablas de contingencia o matrices se producen fácilmente gracias al factor de instalaciones y las funciones apply, sweep. La idea anterior también se puede explotar gráficamente. Los paquetes ggplot2 o retícula proporcionan fácilmente gráficos condicionales para comparar distribuciones condicionales . Por ejemplo, establecer como índice de fila y $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ como el índice de columna en enrejado debería bajo MP conducir a distribuciones similares dentro de una columna.

El cap. 5 del libro El análisis estadístico de los procesos estocásticos en el tiempo por JK Lindsey contiene otras ideas para verificar los supuestos.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— Yves
fuente

2

Creo que plácida y mpiktas han dado enfoques muy reflexivos y excelentes.

$P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

$x$ $y$ $z$ $z$ $y$ $x$ $z$ $y$ $x$ $x$ $y$ $x$ $x$

Entonces el estadístico de prueba sería la diferencia entre estas proporciones estimadas. La complicación de la comparación estándar de las secuencias de Bernoulli es que están correlacionadas. Pero podría hacer una prueba de arranque de proporciones binomiales en este caso.

$0$ $1$ $(0,0)$ , $(0,1)$ , $(1,0)$ y $(1,1)$ donde el primer componente es el resultado de dos etapas y el segundo es el resultado de tres etapas correspondiente. Luego puede aplicar la prueba de McNemar a la tabla.

— Michael R. Chernick
fuente

I see what you are referring to here although I'm finding the first paragraph very terse however. For example "Compute sample estimates[...], then test for difference in proportions". What do you mean by sample estimates? Surely there would be no variance in

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$ or am I misunderstanding your train of thought?

— HCAI

@user1134241 You mentioned "empirically observed", I assumed that you have data from this stochastic sequence. If you want to estimate P(X

_{i}

$_i$ =x|X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y) for each index i-1 where X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y, count the number of times X

_{i}

$_i$ = x and divide it by the number of times X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ = y (regardless of what X

_{i}

$_i$ equals). That is an estimate because the observed finite sequence is just a sample of a portion of a sequence of the stochastic process.

— Michael R. Chernick

In your last paragraph, let me ask what constitute a success and exactly? In the case where you say a two-step transition: are you saying

i \to j \to i

$i\rightarrow j\rightarrow i$ and a 3-step would be

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$ ?

— HCAI

1

You could bin the data into evenly spaced intervals, then compute the unbiased sample variances of subsets $\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$ . By the law of total variance,

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$ , though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$ . Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.

— Luke O'Connor
fuente