¿Cuándo los campos aleatorios de Markov

En su libro de texto, Modelos gráficos, familias exponenciales e inferencia variacional , M. Jordan y M. Wainwright discuten la conexión entre las familias exponenciales y los campos aleatorios de Markov (modelos gráficos no dirigidos).

Estoy tratando de entender mejor la relación entre ellos con las siguientes preguntas:

¿Todos los MRF son miembros de las familias exponenciales?
¿Pueden todos los miembros de las familias exponenciales ser representados como MRF?
Si MRFs Familias exponenciales, ¿cuáles son algunos buenos ejemplos de distribuciones de un tipo no incluidas en el otro ? $\neq$

Por lo que entiendo en su libro de texto (Capítulo 3), Jordan y Wainwright presentan el siguiente argumento:

Digamos que tenemos una variable aleatoria escalar X que sigue alguna distribución , y dibuje iid observaciones , y queremos identificar . $p$ $n$ $X^1, \ldots X^n$ $p$
las expectativas empíricas de ciertas funciones $\phi_\alpha%$

$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ para todos $\alpha \in \mathcal{I}$

donde cada en algún conjunto indexa una función $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
Entonces, si forzamos los siguientes dos conjuntos de cantidades para que sean consistentes, es decir, para que coincidan (para identificar ): $p$
- Las expectativas de las estadísticas suficientes de la distribución $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- Las expectativas bajo la distribución empírica.

tenemos un problema subdeterminado , en el sentido de que hay muchas distribuciones que son consistentes con las observaciones. Por lo tanto, necesitamos un principio para elegir entre ellos (para identificar ). $p$ $p$

Si usamos el principio de máxima entropía para eliminar esta indeterminación, podemos obtener una sola : $p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ sujeto a para todos $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

donde esta toma la forma exp donde representa una parametrización de la distribución en forma de familia exponencial. $p^*$ $p_\theta(x) \propto$ ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

En otras palabras, si nosotros

Hacer que las expectativas de las distribuciones sean consistentes con las expectativas bajo la distribución empírica
Use el principio de máxima entropía para deshacerse de la indeterminación

$\rightarrow$ Terminamos con una distribución de la familia exponencial.

Sin embargo, esto se parece más a un argumento para introducir familias exponenciales y (por lo que puedo entender) no describe la relación entre MRF y exp. familias ¿Me estoy perdiendo algo?

mathematical-statistics graphical-model

— Amelio Vazquez-Reina
fuente

Creo que hay cierta confusión allí: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) no se definen de acuerdo con el principio de máxima entropía, sino por derecho propio, por el hecho de que la densidad se factoriza de acuerdo con las camarillas de la grafico. Los MRF son familias exponenciales, debido a su representación logarítmica lineal.

— Xi'an

Gracias @ Xi'an. Esta parte " MRF se define por el hecho de que la densidad se factoriza de acuerdo con las camarillas del gráfico " es lo que siempre pensé que define un MRF. Pero, ¿por qué esta propiedad hace que todos los MRF formen parte de las familias exponenciales? ¿Y cuáles son los ejemplos (si hay alguno) de cualquier tipo (MRF o familias exp.) Que no son miembros del otro tipo?

— Amelio Vazquez-Reina

No estoy seguro de cuánto agregará para usted, pero una cosa que puede aclararlo es leer la formulación original de distribuciones de Gibbs y MRF en este documento de Geman y Geman. Básicamente, la idea es modelar algo con una distribución de Boltzman (exp al menos algo) y luego preguntar cómo se factoriza algo. Debido a esta forma de describirlo, puede ser más obvio su conexión con familias exponenciales.

— ely

Las familias exponenciales se definen por el hecho de que la densidad logarítmica es esencialmente un producto escalar de una función vectorial de las observaciones y de una función vectorial de los parámetros. No hay una estructura gráfica involucrada en esta definición. Los MRF incluyen además un gráfico que define las camarillas, los vecindarios, y tc. Por lo tanto, los MRF son familias exponenciales con una estructura adicional, el gráfico.

— Xi'an

Supongo que la confusión en los comentarios / respuestas contradictorios se reduce a si se le permite introducir factores que no son loglineales con respecto a sus parámetros.

— Yaroslav Bulatov

Tiene toda la razón: el argumento que presentó relaciona la familia exponencial con el principio de máxima entropía, pero no tiene nada que ver con los MRF.

Para abordar sus tres preguntas iniciales:

¿Pueden todos los miembros de las familias exponenciales ser representados como MRF?

PAGS (X = X) = \prod_{do \in do l (sol)} ϕ_{do} (X_{do} = X_{do})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$ . A partir de esta definición, puede ver que un gráfico totalmente conectado, aunque no es informativo, es coherente con cualquier distribución.

¿Todos los MRF son miembros de las familias exponenciales?

$are$

$\neq$

Las distribuciones de mezclas son ejemplos comunes de distribuciones familiares no exponenciales. Considere el modelo lineal de espacio de estado gaussiano (como un modelo oculto de Markov, pero con estados ocultos continuos y distribuciones gaussianas de transición y emisión). Si reemplaza el núcleo de transición con una mezcla de gaussianos, la distribución resultante ya no está en la familia exponencial (pero aún conserva la rica estructura de independencia condicional característica de los modelos gráficos prácticos).

[1] http://en.wikipedia.org/wiki/Markov_random_field

— Dibujó
fuente