Covarianza para tres variables.

Estoy tratando de entender cómo funciona la matriz de covarianza . Supongamos que tenemos dos variables: $X, Y$ , dónde $\text{Cov}(X,Y) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])]$ da la relación entre las variables, es decir, cuánto depende una de la otra.

Ahora, tres casos variables es menos claro para mí. Una definición intuitiva para la función de covarianza sería $\text{Cov}(X,Y,Z) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$ , pero en cambio la literatura sugiere usar una matriz de covarianza que se define como dos covarianzas variables para cada par de variables.

Entonces, ¿la covarianza incluye información completa sobre relaciones variables? Si es así, ¿cuál es la relación con mi definición de $\text{Cov}(X,Y,Z)$ ?

correlation covariance moments

— Karolis
fuente

Creo que veo que mi definición simplemente no funciona. Pero, ¿es la matriz de covarianza suficiente para cuantificar la relación entre todas las variables?

— Karolis

La matriz de covarianza es suficiente para cuantificar la covarianza entre todas las variables, pero no las "relaciones", ya que esto es un concepto general (las variables pueden estar relacionadas o depender de muchas maneras no lineales diferentes que no son capturadas por la covarianza). Una excepción a esto sería si supieras las variables donde las variables múltiples son normales.

— Zachary Blumenfeld

Gracias @ZacharyBlumenfeld! ¿Podría recomendar un buen libro de texto sobre esto?

— Karolis

Cuál es la diferencia entre

x

$x$ y

X

$X$ en el plazo

x - E [X]

$x-E[X]$ ? Sé a qué te refieres

X

$X$ - es una variable aleatoria - y también por

E [X]

$E[X]$ - es el valor esperado de

X

$X$ , un número real, pero qué es

x

$x$ ? Si

x

$x$ es otro número real, entonces

x - E [X]

$x-E[X]$ es un número real, no tiene nada de aleatorio, por lo que su definición se reduce a

cov (X, Y, Z) = E [(x - E [X]) (y - E [Y]) (z - E [Z])] = (x - E [X]) (y - E [Y]) (z - E [Z])

$\operatorname{cov}(X,Y,Z) = E[(x -E[X])(y-E[Y])(z-E[Z])] = (x -E[X])(y-E[Y])(z-E[Z])$ porque el valor esperado de un número real es el número real en sí.

— Dilip Sarwate

@ZacharyBlumenfeld, su comentario casi califica como respuesta. Tal vez debería expandirlo un poco (agregue eso

E [(x - E [X]) (y - E [Y]) (z - E [Z])]

$\mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$ es un momento cruzado central de tercer orden, ¿qué más? y publicar como respuesta?

— Richard Hardy

Para ampliar el comentario de Zachary, la matriz de covarianza no captura la "relación" entre dos variables aleatorias, ya que "relación" es un concepto demasiado amplio. Por ejemplo, probablemente querríamos incluir la dependencia de dos variables entre sí para incluirlas en cualquier medida de su "relación". Sin embargo, sabemos que $cov(X,Y)=0$ no implica que sean independientes, como es el caso de dos variables aleatorias X ~ U (-1,1) e Y = X ^ 2 (para una breve prueba, consulte: https://en.wikipedia.org / wiki / Covarianza # falta de correlación e independencia ).

Entonces, si pensáramos que la covarianza incluye información completa sobre las relaciones variables, como usted pregunta, la covarianza cero sugiere que no hay dependencia. Esto es lo que quiere decir Zachary cuando dice que puede haber dependencias no lineales que la covarianza no captura.

Sin embargo, dejemos $X:=(X_{1},...,X_{n})'$ ser multivariante normal, X ~ $N(\mu,\Sigma)$ . Entonces $X_{1},...,X_{n}$ son independientes si $\Sigma$ es una matriz diagonal con todos los elementos fuera de la diagonal = 0 (si todas las covarianzas = 0).

Para ver que esta condición es suficiente, observe que los factores de densidad articular,

f (x_{1}, . . ., x_{n}) = \frac{1}{\sqrt{(2 π)^{n} | Σ |}} e x p (- \frac{1}{2} (x - μ)^{'} Σ^{- 1} (x - μ)) = Π_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i i}}} e x p (- \frac{(x_{i} - μ_{i})^{2}}{2 σ_{i i}}) = f_{1} (x_{1}) . . . f_{n} (x_{n})

$\begin{equation} f(x_{1},...,x_{n}) = \dfrac{1}{ \sqrt{(2 \pi)^{n} | \Sigma |}} exp(- \dfrac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu))= \Pi^{n}_{i=1} \dfrac{1}{\sqrt{2 \pi \sigma_{ii}}} exp(- \dfrac{(x_{i}-\mu_{i})^{2}}{2 \sigma_{ii}})=f_{1}(x_{1})...f_{n}(x_{n})\end{equation}$ .

Para ver que la condición es necesaria, recuerde el caso bivariado. Si $X_{1}$ y $X_{2}$ son independientes, entonces $X_{1}$ y $X_{1}|X_{2} = x_{2}$ debe tener la misma varianza, entonces

σ_{11} = σ_{11 | 2} = σ_{11} - σ_{12}^{2} σ_{22}^{- 1}

$\begin{equation} \sigma_{11}=\sigma_{11|2}=\sigma_{11}-\sigma^{2}_{12} \sigma^{-1}_{22} \end{equation}$

lo que implica $\sigma_{12}=0$ . Por el mismo argumento, todos los elementos fuera de la diagonal de $\Sigma$ debe ser cero

(fuente: diapositivas de Econometría avanzada del profesor Geert Dhaene)

— hrrrrrr5602
fuente