Referencias que justifican el uso de mezclas gaussianas

Los modelos de mezcla gaussiana (GMM) son atractivos porque son fáciles de trabajar tanto en el análisis como en la práctica, y son capaces de modelar algunas distribuciones exóticas sin demasiada complejidad. Hay algunas propiedades analíticas que deberíamos tener que no están claras en general. En particular:

$S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Supongamos que tenemos una distribución continua y hemos encontrado una mezcla gaussiana de componente que está cerca de en variación total: . ¿Podemos vincular en términos de ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
Si queremos observar $X\sim P_X$ través del ruido aditivo independiente $Y\sim P_Y$ (ambos reales, continuos), y tenemos GMMs $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ donde $\delta(P,Q)<\epsilon$ , entonces este valor es pequeño: $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ es decir es cierto que estimar el ruido de $X$ a $Y$ es tan difícil como estimar el ruido de $\hat{X}$ a $\hat{Y}$ ?
¿Puedes hacerlo para modelos de ruido no aditivos como el ruido de Poisson?

Mi (breve) revisión de literatura hasta ahora acaba de aparecer tutoriales muy aplicados. ¿Alguien tiene alguna referencia que demuestre rigurosamente bajo qué condiciones estamos justificados en el uso de modelos de mezcla?

— grado
fuente

El conjunto de GMM es denso en el conjunto de distribuciones en la topología débil (correspondiente a la convergencia en la distribución); ver, por ejemplo, aquí . No estoy seguro de si su primera declaración se mantiene, a pesar de que ciertamente requeriría permitir que los componentes de la varianza cero en la mezcla para hacer frente a cualquier masas puntuales en . También soy escéptico sobre el segundo punto, de nuevo debido a la cuestión de las masas de puntos.

P

$P$

— Dougal

Buen punto, he especificado que todo debe ser continuo

— entérese el

Es posible que tenga más suerte mirando la literatura sobre la estimación de la densidad del núcleo con núcleos gaussianos. Como tiene una mezcla de gaussianos con uno por muestra, a medida que aumenta el número de muestras, ¿obtiene un estimador asintóticamente imparcial y consistente de la distribución? Creo que la respuesta es sí, pero no pude encontrar una referencia de inmediato.

— Greg Ver Steeg

@enthdegree: Muy buena pregunta. Debido a que desea utilizar topologías fuertes (divergencia KL y variación total), la respuesta general a sus primeros dos puntos es no: por ejemplo, considere una distribución de cola gruesa; El KL para cualquier mezcla finita gaussiana es infinito (estoy bastante seguro de que esto funciona, aunque no al 100%). Pero esto lleva a la pregunta mucho más interesante, ¿para qué subclase de distribuciones de probabilidad se aplicarían todos sus puntos? No sé la respuesta, pero parece extremadamente interesante. Mi conjetura es que probablemente sea casi todas las distribuciones de probabilidad.

— Guillaume Dehaene

Tomé una clase con este libro. link Hace algunos antecedentes decentes sobre los fundamentos.

— EngrStudent - Restablece a Monica

Respuestas:

En econometría, donde el contexto es de distribuciones mixtas de coeficientes en modelos logit, la referencia estándar es: MODELOS DE MNL MIXTO PARA RESPUESTA DISCRETA DANIEL MCFADDEN Y KENNETH TRAIN, DIARIO DE ECONOMETRÍA APLICADA, J. Appl. Econ. 15: 447-470 (2000).

— Tim
fuente

Con respecto a sus preguntas:

Para el muy similar problema bayesiano de la mezcla de gaussianos del Proceso de Dirichlet, entiendo que la respuesta es sí. Ghosal (2013) .
Cuando asistí a algunas charlas sobre este tema, parecía que el progreso se había logrado principalmente utilizando la divergencia KL. Ver las diapositivas de Harry van Zanten .
No estoy claro Sin embargo, esto parece un problema de separación de fuente ( desconocido). Estos son generalmente mucho más difíciles que el modelado de mezclas solo. En particular, para el caso simple de , no podría identificar los verdaderos e debido a la simetría de las distribuciones sobre cero. $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$
Vea la cuarta de las diapositivas vinculadas arriba, hay una lista de modelos bayesianos para los cuales las garantías de convergencia se mantienen.

— conjeturas
fuente

Aquí hay una respuesta parcial.

Digamos que es la clase de todas las mezclas gaussianas con componentes. Para cualquier distribución continua en los reales, ¿estamos garantizados de que a medida que crece, podemos aproximarnos a con un GMM con pérdida insignificante en el sentido de entropía relativa? Es decir, ¿ $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

No. Usted sólo puede esperar que una divergencia KL es pequeño si se sabe que 's colas son, finalmente, del mismo orden que ' s. Esto no es cierto en general. No es difícil ver que para Cauchy entonces para cualquier , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Se necesitan más condiciones sobre para decir eso. $P$

Digamos que tenemos una distribución continua y hemos encontrado un -component Gaussian mezcla que está cerca de en variación total: . Puede que con destino en función de ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

No. Se aplica el mismo ejemplo anterior.

Si queremos observar por el ruido aditivo independiente (tanto real, continua), y tenemos MMG donde , entonces este valor es pequeño: $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$ Es decir, es cierto que la estimación dea través deruido es casi tan duro como la estimación de a través de ruido?
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

No he podido probar esto, ya sea en general o usando la estructura aditiva adicional que hemos asumido en P, Q, o invento ningún contraejemplo.

¿Puedes hacerlo para modelos de ruido no aditivos como el ruido de Poisson?

Esto es ambiguo. En el contexto de la pregunta anterior, si la afirmación en esa respuesta se puede probar en general, entonces la respuesta es sí.

— grado
fuente