¿Cuál es la distribución de la suma de las variantes gaussianas no iid?

Si $X$ se distribuye $N(\mu_X, \sigma^2_X)$ , $Y$ se distribuye y , sé que se distribuye si X e Y son independientes. $N(\mu_Y, \sigma^2_Y)$ $Z = X + Y$ $Z$ $N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y)$

Pero, ¿qué pasaría si X e Y no fueran independientes, es decir $(X, Y) \approx N\big( (\begin{smallmatrix} \mu_X\\\mu_Y \end{smallmatrix}) , (\begin{smallmatrix} \sigma^2_X && \sigma_{X,Y}\\ \sigma_{X,Y} && \sigma^2_Y \end{smallmatrix}) \big)$

¿Afectaría esto a cómo se distribuye la suma ? $Z$

normal-distribution mathematical-statistics

— JCWong
fuente

Solo me gustaría señalar que hay todo tipo de distribuciones conjuntas para

(X, Y)

$(X,Y)$ no sean bivariadas normales que todavía tienen e marginalmente normales. Y esta distinción marcaría una gran diferencia en las respuestas.

X

$X$

Y

$Y$

@ G.JayKerns Estoy de acuerdo en que si

X

$X$ e

Y

$Y$ son normales pero no necesariamente conjuntamente normales, entonces

X + Y

$X+Y$ puede tener una distribución diferente a la normal. Pero la afirmación del OP de que "

Z

$Z$ se distribuye

N (μ_{x} + μ_{y}, σ_{x}^{2} + σ_{y}^{2})

$N(\mu_x + \mu_y, \sigma^2_x + \sigma^2_y)$ si

X

$X$ e

Y

$Y$ son independientes". Es absolutamente correcto. Si

X

$X$ e

Y

$Y$ son marginalmente normales (como dice la primera parte de la oración) e independientes (como se supone en la segunda parte de la oración), entonces también son conjuntamente normales. En la pregunta del OP , la normalidad conjunta se asume explícitamente y, por lo tanto, cualquier combinación lineal de

X

$X$ e

Y

$Y$ es normal.

— Dilip Sarwate

@Dilip, déjame aclarar que no hay nada de malo en la pregunta y que no hay nada de malo en tu respuesta (+1) (o la probabilidad, tampoco (+1)). Simplemente estaba señalando que si

son dependientes, entonces no es necesario que sean conjuntamente normales, y no estaba claro que el OP hubiera considerado esa posibilidad. Además, me temo (aunque no he pasado mucho tiempo pensando) que sin algunas otras suposiciones (como la normalidad conjunta), la pregunta podría incluso no tener respuesta.

X

$X$

Y

$Y$

Como @ G.JayKerns menciona, por supuesto, podemos obtener todo tipo de comportamientos interesantes si consideramos las distribuciones normales de manera marginal, pero no conjunta. Aquí es un ejemplo simple: Let

sea normal estándar y

con probabilidad 1/2 cada uno, independientemente de

. Deje que

. Entonces

también es normal normal, pero

es exactamente igual a cero con probabilidad 1/2 y es igual a

con probabilidad 1/2.

X

$X$

ε = \pm 1

$\varepsilon = \pm 1$

X

$X$

Y = ε X

$Y = \varepsilon X$

Y

$Y$

Z = X + Y

$Z = X+Y$

2 X

$2X$

— Cardenal

Podemos obtener una gran variedad de comportamientos diferentes al considerar la cópula bivariada que está asociada con

través del teorema de Sklar . Si usamos la cópula gaussiana, entonces obtenemos que

son conjuntamente normales, por lo que

se distribuye normalmente. Si la cópula no es la cópula gaussiana, entonces

todavía están distribuidas marginalmente como normales, pero no son conjuntamente normales y, por lo tanto, la suma no se distribuirá normalmente, en general.

(X, Y)

$(X,Y)$

(X, Y)

$(X,Y)$

Z = X + Y

$Z = X + Y$

X

$X$

Y

$Y$

— cardinal

Respuestas:

Vea mi comentario sobre la respuesta de probabilistico a esta pregunta . Aquí, dondees lacovarianzadey. Nadie escribe las entradas fuera de la diagonal en la matriz de covarianza como como lo ha hecho. Las entradas fuera de la diagonal son covarianzas que pueden ser negativas.

\begin{aligned} X + Y & \sim N (μ_{X} + μ_{Y}, σ_{X}^{2} + σ_{Y}^{2} + 2 σ_{X, Y}) \\ a X + b Y & \sim N (a μ_{X} + b μ_{Y}, a^{2} σ_{X}^{2} + b^{2} σ_{Y}^{2} + 2 a b σ_{X, Y}) \end{aligned}

$\begin{align*} X + Y &\sim N(\mu_X + \mu_Y,\; \sigma_X^2 + \sigma_Y^2 + 2\sigma_{X,Y})\\ aX + bY &\sim N(a\mu_X + b\mu_Y,\; a^2\sigma_X^2 + b^2\sigma_Y^2 + 2ab\sigma_{X,Y}) \end{align*}$

σ_{X, Y}

$\sigma_{X,Y}$

X

$X$

Y

$Y$

σ_{x y}^{2}

$\sigma_{xy}^2$

— Dilip Sarwate
fuente

@Kodiologist Gracias! Me sorprende que los errores tipográficos hayan pasado desapercibidos durante más de 4 años.

— Dilip Sarwate

La respuesta de @ dilip es suficiente, pero pensé que agregaría algunos detalles sobre cómo llegar al resultado. Podemos usar el método de funciones características. Para cualquier distribución normal multivariada dimensional donde y $d$ $X\sim N_{d}(\mu,\Sigma)$ $\mu=(\mu_1,\dots,\mu_d)^T$ , la función característica viene dada por: $\Sigma_{jk}=cov(X_j,X_k)\;\;j,k=1,\dots,d$

φ_{X} (t) = E [\exp (i t^{T} X)] = \exp (i t^{T} μ - \frac{1}{2} t^{T} Σ t)

$\varphi_{X}({\bf{t}})=E\left[\exp(i{\bf{t}}^TX)\right]=\exp\left(i{\bf{t}}^T\mu-\frac{1}{2}{\bf{t}}^T\Sigma{\bf{t}}\right)$

= \exp (i \sum_{j = 1}^{d} t_{j} μ_{j} - \frac{1}{2} \sum_{j = 1}^{d} \sum_{k = 1}^{d} t_{j} t_{k} Σ_{j k})

$=\exp\left(i\sum_{j=1}^{d}t_j\mu_j-\frac{1}{2}\sum_{j=1}^{d}\sum_{k=1}^{d}t_jt_k\Sigma_{jk}\right)$

$Y\sim N_1(\mu_Y,\sigma_Y^2)$

φ_{Y} (t) = \exp (i t μ_{Y} - \frac{1}{2} t^{2} σ_{Y}^{2})

$\varphi_Y(t)=\exp\left(it\mu_Y-\frac{1}{2}t^2\sigma_Y^2\right)$

$Z={\bf{a}}^TX=\sum_{j=1}^{d}a_jX_j$ . For your case, we have $d=2$ and $a_1=a_2=1$ . The characteristic function for $Z$ is the basically the same as that for $X$ .

φ_{Z} (t) = E [\exp (i t Z)] = E [\exp (i t a^{T} X)] = φ_{X} (t a)

$\varphi_{Z}(t)=E\left[\exp(itZ)\right]=E\left[\exp(it{\bf{a}}^TX)\right]=\varphi_{X}(t{\bf{a}})$

= \exp (i t \sum_{j = 1}^{d} a_{j} μ_{j} - \frac{1}{2} t^{2} \sum_{j = 1}^{d} \sum_{k = 1}^{d} a_{j} a_{k} Σ_{j k})

$=\exp\left(it\sum_{j=1}^{d}a_j\mu_j-\frac{1}{2}t^2\sum_{j=1}^{d}\sum_{k=1}^{d}a_ja_k\Sigma_{jk}\right)$

If we compare this characteristic function with the characteristic function $\varphi_Y(t)$ we see that they are the same, but with $\mu_Y$ being replaced by $\mu_Z=\sum_{j=1}^{d}a_j\mu_j$ and with $\sigma_Y^2$ being replaced by $\sigma^2_Z=\sum_{j=1}^{d}\sum_{k=1}^{d}a_ja_k\Sigma_{jk}$ . Hence because the characteristic function of $Z$ is equivalent to the characteristic function of $Y$ , the distributions must also be equal. Hence $Z$ is normally distributed. We can simplify the expression for the variance by noting that $\Sigma_{jk}=\Sigma_{kj}$ and we get:

σ_{Z}^{2} = \sum_{j = 1}^{d} a_{j}^{2} Σ_{j j} + 2 \sum_{j = 2}^{d} \sum_{k = 1}^{j - 1} a_{j} a_{k} Σ_{j k}

$\sigma^2_Z=\sum_{j=1}^{d}a_j^2\Sigma_{jj}+2\sum_{j=2}^{d}\sum_{k=1}^{j-1}a_ja_k\Sigma_{jk}$

This is also the general formula for the variance of a linear combination of any set of random variables, independent or not, normal or not, where $\Sigma_{jj}=var(X_j)$ and $\Sigma_{jk}=cov(X_j,X_k)$ . Now if we specialise to $d=2$ and $a_1=a_2=1$ , the above formula becomes:

σ_{Z}^{2} = \sum_{j = 1}^{2} (1)^{2} Σ_{j j} + 2 \sum_{j = 2}^{2} \sum_{k = 1}^{j - 1} (1) (1) Σ_{j k} = Σ_{11} + Σ_{22} + 2 Σ_{21}

$\sigma^2_Z=\sum_{j=1}^{2}(1)^2\Sigma_{jj}+2\sum_{j=2}^{2}\sum_{k=1}^{j-1}(1)(1)\Sigma_{jk}=\Sigma_{11}+\Sigma_{22}+2\Sigma_{21}$

— probabilityislogic
fuente

+1 Thanks for taking the time to write out the details. Can this question be made part of the FAQ?

— Dilip Sarwate