¿Cuál es la aproximación normal de la distribución multinomial?

Si hay varias aproximaciones posibles, estoy buscando la más básica.

Puede aproximarlo con la distribución normal multivariada de la misma manera que la distribución binomial se aproxima mediante la distribución normal univariada. Consulte los elementos de la teoría de la distribución y la distribución multinomial, páginas 15-16-17.

Sea el vector de sus probabilidades. Entonces, el vector medio de la distribución normal multivariante es . La matriz de covarianza es una matriz simétrica . Los elementos diagonales son en realidad la varianza de 's; es decir, , . El elemento fuera de la diagonal en la i-ésima fila y jth columna es , donde no es igual a .n p = ( n p 1 , n p 2 , . . . , N p k ) k × k X i n p i ( 1 - p i ) i = 1 , 2 ... , k Cov ( X i , X $P=(p_1,...,p_k)$$np=(np_1,np_2,...,np_k)$$k \times k$$X_i$$np_i(1-p_i)$$i=1,2...,k$ i $\text{Cov}(X_i,X_j)=-np_ip_j$$i$$j$

La densidad dada en esta respuesta es degenerada, por lo que utilicé lo siguiente para calcular la densidad que resulta de la aproximación normal:

Hay un teorema que dice dada una variable aleatoria , para un vector -dimensional con y , eso;$X = [X_1, \ldots, X_m]^T \sim \text{Multinom}(n, p)$$m$$p$$\sum_i p_i = 1$$\sum_i X_i = n$

$$X \xrightarrow{d} \sqrt{n} \, \text{diag}(u) \, Q \begin{bmatrix} Z_1 \\ \vdots \\ Z_{m-1} \\ 0 \end{bmatrix} + \begin{bmatrix} n p_1 \\ \vdots \\ n p_m \end{bmatrix},$$

para grande , dado;$n$

• un vector con ;$u$$u_i = \sqrt{p_i}$
• variables aleatorias para y;$Z_i \sim N(0,1)$$i = 1, \ldots, m-1$
• una matriz ortogonal con la columna final .$Q$$u$

Es decir, con cierta reorganización, podemos calcular una distribución normal multivariada dimensional para los primeros componentes de (que son los únicos componentes interesantes porque es la suma de los otros).$m-1$$m-1$$X$$X_m$

Un valor adecuado de la matriz es con , es decir, una transformación particular del familia.$Q$$I - 2 v v^T$$v_i = (\delta_{im} - u_i) / \sqrt{2(1 - u_m)}$

Si se restringe el lado izquierdo de los primeros filas, y restringir a sus primeros filas y columnas (denotar estos y , respectivamente) a continuación:$m-1$$Q$$m-1$$m-1$X$\hat{X}$Q$\hat{Q}$

$$\hat{X} \xrightarrow{d} \sqrt{n} \text{diag}(\hat{u}) \hat{Q} \begin{bmatrix} Z_1 \\ \vdots \\ Z_{m-1} \end{bmatrix} + \begin{bmatrix} n p_1 \\ \vdots \\ n p_{m-1} \end{bmatrix} \sim \mathcal{N} \left( \mu, n \Sigma \right),$$

para grande , donde;$n$

• $\hat{u}$ denota los primeros términos de ;$m-1$$u$
• la media es , y;$\mu = [ n p_1, \ldots, n p_{m-1}]^T$
• la matriz de covarianza con .$n \Sigma = n A A^T$$A = \text{diag}( \hat{u} ) \hat{Q}$

El lado derecho de esa ecuación final es la densidad no degenerada utilizada en el cálculo.

Como se esperaba, cuando conecta todo, obtiene la siguiente matriz de covarianza:

$$(n\Sigma)_{ij} = n \sqrt{p_i p_j} (\delta_{ij} - \sqrt{p_i p_j})$$

para , que es exactamente la matriz de covarianza en la respuesta original restringida a sus primeras filas y columnas.$i,j = 1, \ldots, m-1$m - 1 m - 1$m-1$$m-1$

Esta entrada de blog fue mi punto de partida.