comprobar si una cadena de markov es igual a una teórica

Tengo una matriz de recuento de transiciones empírica Q. Tengo una cadena de Markov teórica de primer orden P. Digamos que N es el número de transiciones. Me gustaría probar si Q es compatible con P. ¿Es correcto encontrar la matriz de transición de recuento teórica (N * P) que calcula las estadísticas de chi-cuadrado, $\sum_{i,j}^{K} \frac{(Q_{ij}-(N*P_{ij}))^2}{N*P_{ij}}$ y luego calcular el valor p de un $\chi^2$ distribución con $K*(K-1)$ ¿grados de libertad?

hypothesis-testing chi-squared markov-process

— Giorgio Spedicato
fuente

No estoy muy familiarizado con las pruebas de chi-cuadrado, pero hojeando, parece que se usa comúnmente para datos multinomiales (por ejemplo, aquí ). Yo pensaría que cada fila de

P

$P$ debería corresponder a una distribución multinomial? Entonces podrías usar

n_{i}

$n_i$ por fila

i

$i$ , es decir, el número de transiciones "desde

i

$i$ ". Es decir, "

N

$N$ "puede variar según el estado inicial?

— GeoMatt22

Asumiendo que sus matrices son algo así como

P_{i j} = Pr [j ∣ i], Q_{i j} = \sum_{t = 1}^{N} [x_{t} = i & x_{t + 1} = j]

$P_{ij}=\Pr[j\mid\!i] \,,\, Q_{ij}=\sum_{t=1}^N\big[x_t=i\,\&\,x_{t+1}=j\,\big]$ entonces podrías interpretar cada fila

i

$i$ como una distribución multinomial con parámetros

p_{i} = P_{i, :}, n_{i} = \sum_{j = 1}^{K} Q_{i j}

$p_i=P_{i,:} \,,\, n_i=\sum_{j=1}^{K}Q_{ij}$

No estoy seguro de que pueda agrupar todas las filas, porque el "número de intentos" variará entre las filas.

Por ejemplo decir $K=3$ y tus datos son $x=[1,1,2,1,2,3,1,2]$ . Entonces hay $N=7$ transiciones, con $n_1=4$ procedente de $x=1$ , pero $n_2=2$ desde $x=2$ y solo y $n_3=1$ desde $x=3$ . Entonces creo que tu confianza en $\hat{p}_1$ generalmente debe ser mayor que su confianza en $\hat{p}_3$ .

(En el caso extremo, tal vez para este ejemplo $K$ Fue en realidad $4$ , pero no tiene datos en absoluto sobre esas transiciones, como $n_4=0$ . Tratar la "ausencia de evidencia como evidencia de ausencia" me parece problemático aquí).

No estoy muy familiarizado con las pruebas de ji cuadrado, pero esto sugiere que es posible que desee tratar las filas de forma independiente (es decir, sumar solo más de $j$ , y use $n_i$ más bien que $N$ ) Este razonamiento no parece específico de la prueba de ji cuadrado, por lo que también debe aplicarse a cualquier otra prueba de significación que pueda usar (por ejemplo, multinomio exacto ).

La cuestión clave es que las probabilidades de transición son condicionales , por lo que para cada entrada de matriz solo son relevantes las transiciones que satisfacen su condición previa. De hecho, presumiblemente la matriz de transición satisfará $\sum_jP_{ij}=1$ , por lo tanto, la "matriz de transición empírica" debe ser $\hat{P}_{ij}=Q_{ij}/n_i$ .

Actualización: en respuesta a la consulta de OP, una aclaración sobre los "parámetros de prueba".

Si hay $K$ estados en la cadena de Markov, es decir $P\in\mathbb{R}^{K\times{K}}$ , luego por fila $i$ , la distribución multinomial correspondiente tendrá un vector de probabilidad $p_i\in\mathbb{R}^K$ y número de ensayos $n_i\in\mathbb{N}$ , dado anteriormente.

Entonces habrá $K$ categorías y el vector de probabilidad $p_i$ tendrá $K-1$ grados de libertad, como $\sum_{j=1}^K(p_i)_j=1$ . Entonces para la fila $i$ el correspondiente $\chi^2$ estadística sería

χ_{i}^{2} = \sum_{j} \frac{{(Q_{i j} - n_{i} P_{i j})}^{2}}{n_{i} P_{i j}}

$\chi^2_i=\sum_j\frac{\left(Q_{ij}-n_iP_{ij}\right)^2}{n_iP_{ij}}$ que seguirá asintóticamente un chi-cuadrado distribuido con

K - 1

$K-1$ grados de libertad (como se indica aquí y aquí ). Vea también aquí para una discusión de cuándo

χ^{2}

$\chi^2$ la prueba es apropiada y pruebas alternativas que pueden ser más apropiadas.

Se puede ser posible hacer una "prueba agrupados", asumiendo $\chi^2_P=\sum_i\chi^2_i$ sigue una distribución chi-cuadrado con $K(K-1)$ dof's (es decir, sumando dofs sobre filas). Sin embargo, no estoy seguro de si el $\chi^2_i$ Puede ser tratado como independiente. En cualquier caso, las pruebas en filas parecen ser más informativas, por lo que pueden ser preferibles a una prueba agrupada.

— GeoMatt22
fuente

Idea inteligente de tratarlo como una distribución multinomial. La suma de dos variables de Chi-cuadrado es chi-cuadrado, por lo que las estadísticas de prueba para cada fila pueden calcularse por computadora y sumarse juntas para producir una nueva estadística de prueba de chi-cuadrado. Esto tendrá

N - K

$N-K$ grados de libertad

— Hugh

@Hugh No estoy lo suficientemente familiarizado para evaluar, pero esto podría ser razonable. Mi punto principal fue más que el enfoque "fila por fila" parece justificable, y más informativo, que el enfoque "agrupado". (Supongo que un punto secundario es que todo el trabajo sobre chi-cuadrado para multinomios, por ejemplo, convergencia asintótica, podría ser un buen punto de partida. Todo lo que sé sobre estos temas lo aprendí hace un momento al leer las publicaciones de CV, así que eso es todo lo que puede ofrecer!) Podría considerar publicar una respuesta breve que aborde el aspecto chi-cuadrado más directamente.

— GeoMatt22

@ GeoMatt22 ... Entonces, ¿está bien el número de grados de libertad para que la prueba de Chi-Cuadrado sea igual a

N^{2} - N

$N^2-N$ siendo N del tamaño de la dtmc?

— Giorgio Spedicato

Giorgio, mira mi actualización.

— GeoMatt22

@ Hugo, por favor vea mi respuesta actualizada. Tenga en cuenta que Wikipedia dice "Cabe señalar que los grados de libertad no se basan en el número de observaciones". No estoy seguro si mi

K (K - 1)

$K(K-1)$ los dof's para una "prueba agrupada" son correctos, pero también inciertos donde

N - K

$N-K$ dof vendría de! Alguna aclaración?

— GeoMatt22