¿Cuál es la varianza de la mezcla ponderada de dos gaussianos?

Digamos que tengo dos distribuciones normales A y B con medias y y varianzas y . Quiero tomar una mezcla ponderada de estas dos distribuciones usando pesos y donde y . Sé que la media de esta mezcla sería . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

¿Cuál sería la varianza?

Un ejemplo concreto sería si supiera los parámetros para la distribución de la altura masculina y femenina. Si tuviera una habitación de personas que era 60% masculina, podría producir la altura media esperada para toda la habitación, pero ¿qué pasa con la variación?

normal-distribution mixture

— JoFrhwld
fuente

Re terminología: la mezcla simplemente tiene una media y una varianza; no tiene sentido en la calificación de éstos como "espera", a menos que esté dando a entender que tal vez

p

$p$ y

q

$q$ debe ser considerado como variables aleatorias.

— whuber

Sé que la mezcla de dos distribuciones gaussianas es identificable. Pero si las dos distribuciones tienen los mismos emans? Es decir: ¿es identificable la mezcla de dos distribuciones normales con los mismos medios y diferentes desviaciones estándar? ¿Hay documentos en este contexto? Gracias de antemano

Hay una pregunta similar con respuestas (que trata también de las COVARIANZAS) aquí: math.stackexchange.com/q/195911/96547

— hplieninger

La varianza es el segundo momento menos el cuadrado del primer momento, por lo que es suficiente para calcular los momentos de las mezclas.

En general, dadas las distribuciones con archivos PDF y pesos constantes (no aleatorios) , el PDF de la mezcla es $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

de donde se deduce inmediatamente por cualquier momento que $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

He escrito para el momento de y para el momento de . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

Usando estas fórmulas, la varianza se puede escribir

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

De manera equivalente, si las varianzas de se dan como , entonces , permitiendo que la varianza de la mezcla se escriba en términos de variaciones y medios de sus componentes como $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

En palabras, esta es la varianza promedio (ponderada) más la media cuadrática promedio menos el cuadrado de la media promedio. Como la cuadratura es una función convexa, la desigualdad de Jensen afirma que la media cuadrática promedio no puede ser menor que el cuadrado de la media promedio. Esto nos permite entender que la fórmula indica que la varianza de la mezcla es la mezcla de las varianzas más un término no negativo que explica la dispersión (ponderada) de las medias.

En su caso, la varianza es

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Podemos interpretar que esta es una mezcla ponderada de las dos varianzas, , más un término de corrección (necesariamente positivo) para dar cuenta de los cambios de las medias individuales en relación con la media general de la mezcla. $p_A\sigma_A^2 + p_B\sigma_B^2$

La utilidad de esta variación en la interpretación de los datos, como la que figura en la pregunta, es dudosa, porque la distribución de la mezcla no será Normal (y puede apartarse sustancialmente de ella, en la medida en que exhiba bimodalidad).

— whuber
fuente

In particular, noting that

p_{A} + p_{B} = 1

$p_A+p_B=1$ , your last expression simplifies to

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$ .

— Ilmari Karonen

Or, if we do impose a probabilistic explanation for a mixture density (there is an event

A

$A$ of probabiity

p_{A}

$p_A$ and the conditional density of

X

$X$ given

A

$A$ is

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$ while the conditional density of

X

$X$ given

A^{c} = B

$A^c = B$ is

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$ ), then var

(X)

$(X)$ is the sum of the mean of the conditional variance plus the variance of the conditional mean. The latter is a discrete RV

Y

$Y$ with values

μ_{A}, μ_{B}

$\mu_A, \mu_B$ with probabilities

p

$p$ and

q

$q$ and your expression in square brackets is readily recognized to be

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$ .

— Dilip Sarwate

@Neodyme By definition, the variance is the second moment minus the mean squared. Therefore, the second moment is the variance plus the mean squared.

— whuber

@Neodyme use

E (X) = μ

$E(X)=\mu$ .

— whuber

@Kiran Although in some cases the mixture might look Normal, it will not be. One way to see that is to compute its excess kurtosis using the formulas given here. It will be nonzero unless all the standard deviations are equal--in which case the "mixture" isn't really a mixture in the first place.

— whuber