La linealidad de la varianza.

16

Creo que las siguientes dos fórmulas son ciertas:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ mientras que a es un número constante

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ si

X

$X$ ,

Y

$Y$ son independientes

Sin embargo, no estoy seguro de lo que está mal con lo siguiente:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ que no es igual a

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$ , es decir,

4 V a r (X)

$4\mathrm{Var}(X)$ .

Si se supone que $X$ es la muestra tomada de una población, creo que siempre podemos suponer que $X$ es independiente de las otras $X$ s.

Entonces, ¿qué hay de malo en mi confusión?

variance linearity fallacy

— lanselibai
fuente

8

La varianza no es lineal: su primera declaración muestra esto (si lo fuera, tendría

. La covarianza, por otro lado, es bilineal.

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

— Batman

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

El problema con su línea de razonamiento es

"Creo que siempre podemos suponer que es independiente de las otras ". $X$ $X$

no es independiente de . El símbolo se usa para referirse a la misma variable aleatoria aquí. Una vez que conoce el valor de la primera que aparece en su fórmula, esto también corrige el valor de la segunda que aparece. Si desea que se refieran a variables aleatorias distintas (y potencialmente independientes), debe denotarlas con letras diferentes (por ejemplo, e ) o utilizando subíndices (por ejemplo, y ); este último se usa a menudo (pero no siempre) para denotar variables extraídas de la misma distribución. $X$ $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

Si dos variables e son independientes entonces es el mismo que : conociendo el valor de no nos da ninguna información adicional sobre el valor de . Pero $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ es si y de otro modo: conocer el valor de $1$ $a=b$ $0$ $X$ le da información completa sobre el valor de . [Puede reemplazar las probabilidades en este párrafo por funciones de distribución acumulativa, o cuando corresponda, funciones de densidad de probabilidad, esencialmente con el mismo efecto.] $X$

Otra forma de ver las cosas es que si dos variables son independientes, entonces tienen correlación cero (¡aunque la correlación cero no implica independencia !), Pero está perfectamente correlacionada consigo misma, por lo que no puede ser independiente de sí mismo. Tenga en cuenta que dado que la covarianza viene dada por $X$ $\Corr(X,X)=1$ $X$ , luego $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

La fórmula más general para la varianza de una suma de dos variables aleatorias es

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

En particular, , entonces $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

que es lo mismo que habrías deducido de aplicar la regla

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Si está interesado en la linealidad, entonces podría estar interesado en la bilinealidad de la covarianza. Para las variables aleatorias , , y (ya sea dependiente o independiente) y las constantes de , , y que tenemos $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

and overall,

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

You can then use this to prove the (non-linear) results for variance that you wrote in your post:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

The latter gives, as a special case when $a=b=1$ ,

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

When $X$ and $Y$ are uncorrelated (which includes the case where they are independent), then this reduces to $\Var(X+Y) = \Var(X) + \Var(Y)$ . So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

— Silverfish
fuente

1

Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by

Pr (X + X = n)

$\Pr (X+X=n)$ where

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$ , it is technically incorrect if you're considering throwing a

n

$n$ in craps (and

X + X = 2 X

$X+X=2X$ would never yield an odd roll); the event would be properly expressed using

X_{1}, X_{2}

$X_1,X_2$ i.i.d.).

— Vandermonde

1

This is in contrast to (and I think my misapprehension might have stemmed from) how 2+PRNG(6)+PRNG(6) often is how you would toss dice as above and/or notation/conventions such as

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$ in which different instances are genuinely intended to be independent.

— Vandermonde

@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different

X

$X$ s" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was

2 X

$2X$ " is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.

— Silverfish

0

Another way of thinking about it is that with random variables $2X \neq X + X$ .

$2X$ would mean two times the value of the outcome of $X$ , while $X + X$ would mean two trials of $X$ . In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

— Benjamin
fuente

+1 This is a perfectly clear and correct answer. Welcome to our site!

— whuber

Thanks @whuber!

— Benjamin