Relación entre la suma de RV gaussianas y la mezcla gaussiana

13

Sé que una suma de gaussianos es gaussiana. Entonces, ¿en qué se diferencia una mezcla de gaussianos?

Quiero decir, una mezcla de gaussianos es solo una suma de gaussianos (donde cada gaussiano se multiplica por el coeficiente de mezcla respectivo) ¿verdad?

— njk
fuente

77

Una mezcla de gaussianos es una suma ponderada de gaussianos densidades , no una suma ponderada de variables aleatorias gaussianas.

— probabilityislogic

7

Una suma ponderada de variables aleatorias gaussianas es una variable aleatoria gaussiana : si entonces $X_1,\ldots,X_p$

\sum_{i = 1}^{p} β_{i} X_{i}

$\sum_{i=1}^p \beta_i X_i$

(X_{1}, \dots, X_{p}) \sim N_{p} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$

β^{T} (X_{1}, \dots, X_{p}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

f (\cdot; θ) = \sum_{i = 1}^{p} ω_{i} φ (\cdot; μ_{i}, σ_{i})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ ingrese la descripción de la imagen aquí

[Fuente: Marin y Robert, Bayesian Core , 2007]

$X\sim f(\cdot;\theta)$

X = \sum_{i = 1}^{p} I (Z = i) X_{i} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

— Xi'an
fuente

3

Y aquí hay un código R para complementar la respuesta @ Xi'an:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

ingrese la descripción de la imagen aquí

— alberto
fuente

1

La distribución de la suma de variables aleatorias independientes es la convolución de sus distribuciones. Como ha notado, la convolución de dos gaussianos resulta ser gaussiana.

$X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

— grado
fuente

Gracias entusiasmo. Sé que el siguiente ejemplo es intrínsecamente incorrecto, pero podría ser interesante de todos modos: digamos que tenemos un tipo especial de "mezcla" (si todavía podemos llamarlo una "mezcla") de 2 densidades gaussianas, donde los coeficientes de mezcla ambos corresponden a 1, ¿sería lo mismo que una suma de RV gaussianos?

— njk

No, aunque su mezcla rv será gaussiana en este caso, si agregara dos RV con la distribución del componente, la suma RV tendría más variación que la mezcla RV.

— entusiasmado

@enthdegree ¿Cómo es la mezcla rv gaussiana? Todavía podría ser bimodal si los medios no coinciden, ¿verdad?

— aprendiendo

@learning, sí, tienes razón. Cuando escribí el anterior. comentar por alguna razón asumí que tenían la misma media.

— entusiasmado