Estimador de máxima probabilidad de distribución conjunta dado solo recuentos marginales

Sea una distribución conjunta de dos variables categóricas , con . Digamos que se tomaron muestras de esta distribución, pero solo se nos dan los recuentos marginales, es decir, para : $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{yo = 1}^{norte} δ (X_{yo} = l), T_{j} = \sum_{yo = 1}^{norte} δ (Y_{yo} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

¿Cuál es el estimador de máxima verosimilitud para , dado ? ¿Se sabe esto? ¿Computacionalmente factible? ¿Existen otros enfoques razonables para este problema que no sean ML? $p_{x,y}$ $S_j,T_j$

— RS
fuente

Los márgenes realmente no contienen información * sobre la distribución conjunta (de hecho, este es el punto de las cópulas).

$\:$ * o al menos casi ninguna, obviamente los márgenes contienen al menos algo de información, ya que los recuentos interiores no pueden exceder los márgenes en los que ocurren. ¿Tiene en mente una distribución conjunta específica? ¿Por qué usaste la maximum-entropyetiqueta? ¿Estás buscando una solución de máxima entropía?

— Glen_b -Reinstale a Monica el

No estoy muy familiarizado con las cópulas. ¿Se sostienen para el caso categórico también? ¿Qué significaría eso: que cada distribución conjunta con los mismos márgenes tendría la misma probabilidad? (Etiqueté la entropía máxima porque pensé que podría ser relevante).

— RS

Aún no tenemos un modelo de distribución específico, por lo que no estamos realmente en condiciones de calcular

. Hay numerosas posibilidades aquí. Existen cópulas para el caso categórico ordenado (si no es único), pero mi objetivo al plantearlo fue motivar por qué los marginales no eran muy informativos en general. Con respecto al caso del recuento categórico, Fisher trató los márgenes como poco informativos sobre la articulación, de ahí la prueba exacta de Fisher-Irwin. Si desea la máxima entropía, es probable que pueda obtener una solución de máxima entropía, pero no sé que va a ser muy informativo sobre ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Reinstate Mónica

(ctd) ... estructura. En los casos de EM o ML, creo que primero necesitará algún tipo de modelo, ya sea bivariado multinomial, bivariado hipergeométrico o algo con más estructura. Vea esta pregunta , donde el autor pone una referencia en una respuesta. Eso puede ser de ayuda.

— Glen_b -Reinstala a Monica el

Me refería a una distribución multinomial bivariada general. La pregunta habla sobre el caso en el que se dan las sumas de la distribución y vemos muestras de la distribución conjunta. Aquí tenemos las sumas de la muestra. Creo que el problema está bien definido en el caso de ML (la solución puede no ser única pero no lo sé).

— RS

Respuestas:

Este tipo de problema se estudió en el documento "Aumento de datos en tablas de contingencia de múltiples vías con totales marginales fijos" de Dobra et al (2006). Supongamos que denota los parámetros del modelo, que denota la tabla de recuentos enteros no observados para cada par , y que es el conjunto de tablas de enteros cuyos recuentos marginales son iguales . Entonces la probabilidad de observar los recuentos marginales es: $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$ donde es la distribución de muestreo multinomial. Esto define la función de probabilidad para ML, pero la evaluación directa no es factible excepto por pequeños problemas. El enfoque que recomiendan es MCMC, donde puede actualizar alternativamente y

pag (S, T El | θ) = \sum_{norte \in C (S, T)} pag (norte El | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$

n

$\mathbf{n}$

θ

$\theta$ tomando muestras de una distribución de propuesta y aceptando el cambio de acuerdo con el índice de aceptación de Metropolis-Hastings. Esto podría adaptarse para encontrar un máximo aproximado sobre

usando Monte Carlo EM.

θ

$\theta$

Un enfoque diferente usaría métodos variacionales para aproximar la suma sobre . Las restricciones marginales pueden codificarse como un gráfico de factores y la inferencia sobre podría llevarse a cabo utilizando la propagación de expectativas. $\mathbf{n}$ $\theta$

Para ver por qué este problema es difícil y no admite una solución trivial, considere el caso . Tomando como las sumas de las filas y como las sumas de las columnas, hay dos posibles tablas de recuento: $S=(1,2), T=(2,1)$ $S$ $T$ Por lo tanto la función de probabilidad es El MLE para este problema es

[\begin{matrix} 0 0 & 1 \\ 2 & 0 0 \end{matrix}] [\begin{matrix} 1 & 0 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

pag (S, T El | θ) = 3 {pag}_{12} {pag}_{21}^{2} + 6 6 {pag}_{11} {pag}_{21} {pag}_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{pag}}_{X, y} = [\begin{matrix} 0 0 & 1 / / 3 \\ 2 / / 3 & 0 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$ que corresponde a asumir la tabla de la izquierda. Por el contrario, la estimación que se podrían obtener por supuesto de independencia es

que tiene un valor de probabilidad menor.

q_{X, y} = [\begin{matrix} 1 / / 3 \\ 2 / / 3 \end{matrix}] [\begin{matrix} 2 / / 3 & 1 / / 3 \end{matrix}] = [\begin{matrix} 2 / / 9 9 & 1 / / 9 9 \\ 4 4 / / 9 9 & 2 / / 9 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$

— Tom Minka
fuente

¿No es posible obtener una solución analítica?

— Ben Kuhn

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

No sospecharía que hubiera una solución analítica. Agregué un ejemplo para ilustrar esto.

— Tom Minka

Gracias. ¿Quizás es verdad asintóticamente? Entonces, condicionar los totales de margen es lo mismo que condicionar las distribuciones de margen (después de la normalización), y la probabilidad logarítmica para cada tabla entera no observada es proporcional a su entropía. Tal vez algo con AEP entonces?

— RS

Como ha señalado @Glen_b, esto no está suficientemente especificado. No creo que pueda usar la probabilidad máxima a menos que pueda especificar completamente la probabilidad.

Si estaba dispuesto a asumir la independencia, entonces el problema es bastante simple (por cierto, creo que la solución sería la solución de entropía máxima que se ha sugerido). Si no está dispuesto o no puede imponer una estructura adicional en su problema y aún desea algún tipo de aproximación a los valores de las celdas, puede utilizar los límites de la cópula Fréchet-Hoeffding . Sin suposiciones adicionales, no creo que pueda ir más allá.

— F. Tusell
fuente

La probabilidad en esta lata sería multinomial. ¿Por qué es eso insuficiente?

— RS

Según tengo entendido, la probabilidad es una función de los parámetros dados los datos. Aquí, no tiene valores para cada celda, solo los marginales, por lo tanto, no tiene una sola función de los parámetros que puede calcular, y mucho menos maximizar. En general, hay muchas configuraciones de celdas compatibles con los márgenes, y cada una daría una probabilidad diferente.

— F. Tusell

p

$p$

p

$p$

$p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

Lo incorrecto sigue:

$p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

pag = (\begin{array}{cc} \frac{1}{2} & 0 0 \\ 0 0 & \frac{1}{2} \end{array}), pag = (\begin{array}{cc} \frac{1}{4 4} & \frac{1}{4 4} \\ \frac{1}{4 4} & \frac{1}{4 4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

$p_x$ $p_y$

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (pag) = \sum_{k \in X \cup Y} λ_{k} \nabla {sol}_{k} (pag)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

$g_k$

1 - Iniciar sesión {pag}_{X, y} = λ_{X} + λ_{y} ⟹ {pag}_{X, y} = {mi}^{1 - λ_{X} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

$\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

{pag}_{X, y} = {pag}_{X} {pag}_{y} .

$p_{x,y} = p_xp_y.$

— Ben Kuhn
fuente

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

Has calculado las probabilidades incorrectamente; por ejemplo, olvidó incluir los coeficientes binomiales. Pero tiene razón en que las dos matrices dan diferentes distribuciones conjuntas de recuentos marginales a pesar de que dan la misma distribución marginal de recuentos marginales. (¡Ay!) Lo pensaré más.

— Ben Kuhn