Diferentes tipos de covarianza para modelos de mezcla gaussiana


13

Mientras probaba los modelos de mezcla gaussiana aquí , encontré estos 4 tipos de covarianzas.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Busqué mucho en Google para encontrar más detalles sobre cada uno de estos tipos, pero solo encontré descripciones de muy alto nivel (como esta ).

Aprecio si alguien puede ayudarme a entender esto, o al menos dirigirme a algún lugar donde pueda leer sobre esto.

Respuestas:


17

Una distribución gaussiana está completamente determinada por su matriz de covarianza y su media (una ubicación en el espacio). La matriz de covarianza de una distribución gaussiana determina las direcciones y longitudes de los ejes de sus contornos de densidad, todos los cuales son elipsoides.

Estos cuatro tipos de modelos de mezcla se pueden ilustrar en general utilizando el caso bidimensional. En cada una de estas gráficas de contorno de la densidad de la mezcla, dos componentes se ubican en y con pesos y respectivamente. Los diferentes pesos harán que los conjuntos de contornos se vean ligeramente diferentes incluso cuando las matrices de covarianza sean las mismas, pero las formas generales de los contornos individuales seguirán siendo similares para matrices idénticas.( 4 , 5 ) 3 / 5 2 / 5(0,0)(4,5)3/52/5

Figura

Al hacer clic en la imagen, se mostrará una versión con mayor resolución.

NB Estas son gráficas de las mezclas reales, no de los componentes individuales. Debido a que los componentes están bien separados y tienen un peso comparable, los contornos de la mezcla se parecen mucho a los contornos de los componentes (excepto en niveles bajos donde pueden distorsionarse y fusionarse, como se muestra en el centro de la gráfica "atada", por ejemplo).

  • Completo significa que los componentes pueden adoptar independientemente cualquier posición y forma.

  • Atado significa que tienen la misma forma, pero la forma puede ser cualquier cosa.

  • Diagonal significa que los ejes del contorno están orientados a lo largo de los ejes de coordenadas, pero de lo contrario las excentricidades pueden variar entre los componentes.

  • La Diagonal atada es una situación "atada" en la que los ejes del contorno están orientados a lo largo de los ejes de coordenadas. (He agregado esto porque inicialmente fue cómo malinterpreté "diagonal").

  • Esférica es una situación "diagonal" con contornos circulares (esférica en dimensiones superiores, de ahí el nombre).

Esto exhibe una gama de la mezcla más general posible a un tipo muy específico de mezcla. Son posibles otras restricciones (más complicadas), especialmente en dimensiones más altas donde el número de parámetros crece rápidamente. (Una matriz de covarianza en dimensiones se describe mediante parámetros independientes).n ( n + 1 ) / 2nn(n+1)/2


Gran respuesta. Gracias. Una última pregunta. ¿Son estos los únicos 4 tipos? ¿O hay otros tipos también?
Abeja

1
Estoy seguro de que puede imaginar varios casos intermedios en los que algunos componentes comparten ciertas propiedades y otros no, o donde algunas características de todos los componentes están especificadas previamente. Por ejemplo, el ejemplo más extremo sería la situación "esférica" ​​donde se requiere que la varianza sea (digamos) en todos los componentes. 1
whuber

Gracias. Acabo de comparar la descripción citada en mi publicación y su respuesta. En el mío, 'Tied' es el único que comparten todos los componentes. Pero en el tuyo, 'Full' parece ser el único que NO comparte cada componente. Siento que estos 2 son contradictorios. (Estoy seguro de que me falta algo). ¿Te importaría explicar eso? Muchas gracias.
Abeja

No veo ninguna contradicción: he representado fielmente con precisión las condiciones que delineas. De hecho, no me referí a ninguna otra fuente para crear estas imágenes.
whuber

1
Gracias, entiendo lo que quieres decir. Actualizaré la explicación para reflejar eso.
whuber
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.