¿Para qué distribuciones la falta de correlación implica independencia?

Un recordatorio tradicional en las estadísticas es "la falta de correlación no implica independencia". Por lo general, este recordatorio se complementa con la afirmación psicológicamente relajante (y científicamente correcta) "cuando, sin embargo, las dos variables se distribuyen normalmente de manera conjunta , la falta de correlación implica independencia".

Puedo aumentar el conteo de excepciones felices de uno a dos: cuando dos variables están distribuidas por Bernoulli , una vez más, la falta de correlación implica independencia. Si e son dos rv de Bermoulli, , para lo cual tenemos , y análogamente para , su covarianza es $X$ $Y$ $X \sim B(q_x),\; Y \sim B(q_y)$ $P(X=1) = E(X) = q_x$ $Y$

Cov (X, Y) = E (X Y) - E (X) E (Y) = \sum_{S_{X Y}} p (x, y) x y - q_{x} q_{y}

$\operatorname{Cov}(X,Y)= E(XY) - E(X)E(Y) = \sum_{S_{XY}}p(x,y)xy - q_xq_y$

= P (X = 1, Y = 1) - q_{x} q_{y} = P (X = 1 ∣ Y = 1) P (Y = 1) - q_{x} q_{y}

$= P(X=1,Y=1) - q_xq_y = P(X=1\mid Y=1)P(Y=1)-q_xq_y$

= (P (X = 1 ∣ Y = 1) - q_{x}) q_{y}

$= \Big(P(X=1\mid Y=1)-q_x\Big)q_y$

Por falta de correlación, requerimos que la covarianza sea cero.

Cov (X, Y) = 0 \Rightarrow P (X = 1 ∣ Y = 1) = P (X = 1)

$\operatorname{Cov}(X,Y) = 0 \Rightarrow P(X=1\mid Y=1) = P(X=1)$

\Rightarrow P (X = 1, Y = 1) = P (X = 1) P (Y = 1)

$\Rightarrow P(X=1,Y=1) = P(X=1)P(Y=1)$

que es la condición que también se necesita para que las variables sean independientes.

Entonces mi pregunta es: ¿Conoces alguna otra distribución (continua o discreta) para la cual la falta de correlación implique independencia?

Significado: Suponga dos variables aleatorias que tienen distribuciones marginales que pertenecen a la misma distribución (quizás con diferentes valores para los parámetros de distribución involucrados), pero digamos con el mismo soporte, por ejemplo. dos exponenciales, dos triangulares, etc. ¿Todas las soluciones a la ecuación son tales que también implican independencia, en virtud de la forma / propiedades de las funciones de distribución involucradas? Este es el caso con los marginales normales (dado que también tienen una distribución normal bivariada), así como con los marginales de Bernoulli. ¿Hay otros casos? $X,Y$ $\operatorname{Cov}(X,Y) = 0$

La motivación aquí es que generalmente es más fácil verificar si la covarianza es cero, en comparación con verificar si la independencia se mantiene. Entonces, si, dada la distribución teórica, al verificar la covarianza también se verifica la independencia (como es el caso con el caso de Bernoulli o normal), entonces sería útil saberlo.
Si se nos dan dos muestras de dos rv que tienen márgenes normales, sabemos que si podemos concluir estadísticamente a partir de las muestras que su covarianza es cero, también podemos decir que son independientes (pero solo porque tienen márgenes normales). Sería útil saber si podríamos concluir de la misma manera en los casos en que los dos vehículos tienen márgenes que pertenecen a alguna otra distribución.

— Alecos Papadopoulos
fuente

Lógicamente, no hay duda aquí: tome cualquier par de variables independientes como la distribución. Ya sea que estén correlacionados o no, ¡son independientes por fiat ! Realmente necesita ser más preciso sobre lo que quiere decir con "distribución" y qué tipo de respuestas le resultarán útiles.

— whuber

@whuber No entiendo tu comentario. Yo empiezo por uncorrelatedness y preguntar "si yo puedo demostrar que no están correlacionadas cuando se hace esto implica que también son independientes"? Dado que los dos resultados indicados en la pregunta dependen de que los rv tengan una distribución específica (normal o Bernoulli), pregunto "¿hay alguna otra distribución conocida para la cual, si las dos variables la siguen, este resultado se cumple"?

— Alecos Papadopoulos

Tome dos variables independientes y deje que sea su distribución. es una respuesta válida a su pregunta. Tenga en cuenta que está solicitando probar un condicional, que por definición es verdadero siempre que el consecuente sea verdadero, sin importar cuál sea el valor de verdad de su antecedente. Por lo tanto, según las reglas básicas de la lógica, todas las distribuciones de variables independientes son respuestas a su pregunta.

X, Y

$X,Y$

F

$F$

F

$F$

— whuber

@Whuber, evidentemente tienes razón. Agregué un texto relacionado con la motivación de esta pregunta, que espero aclare cuál fue mi motivación.

— Alecos Papadopoulos

¿Con qué información comienzas cuando tomas esta decisión? De la formulación de su ejemplo, parece que se le da el pdf marginal para cada variable y la información de que cada par de variables no están correlacionadas. Luego decides si también son independientes. ¿Es esto exacto?

— probabilidadislogic

"Sin embargo, si las dos variables se distribuyen normalmente, entonces la falta de correlación implica independencia" es una falacia muy común .

Eso solo se aplica si se distribuyen conjuntamente de manera normal.

El contraejemplo que he visto con mayor frecuencia es normal e independiente Rademacher (por lo que es 1 o -1 con probabilidad 0.5 cada uno); entonces también es normal (claro al considerar su función de distribución), (el problema aquí es mostrar por ejemplo, iterando la expectativa en , y observando que es o con probabilidad 0.5 cada uno) y está claro que las variables son dependientes (por ejemplo, si sé entonces o , entonces la información sobre $X \sim N(0,1)$ $Y$ $Z=XY$ $\operatorname{Cov}(X,Z)=0$ $\mathbb{E}(XZ)=0$ $Y$ $XZ$ $X^2$ $-X^2$ $X>2$ $Z>2$ $Z<-2$ $X$ me da información sobre ). $Z$

También vale la pena tener en cuenta que las distribuciones marginales no determinan únicamente la distribución conjunta. Tome dos RV reales e con CDF marginales y . Entonces para cualquier la función: $X$ $Y$ $F_X(x)$ $G_Y(y)$ $\alpha<1$

H_{X, Y} (x, y) = F_{X} (x) G_{Y} (y) (1 + α (1 - F_{X} (x)) (1 - F_{Y} (y)))

$H_{X,Y}(x,y)=F_X(x)G_Y(y)\left(1+\alpha\big(1-F_X(x)\big)\big(1-F_Y(y)\big)\right)$

será un CDF bivariado. (Para obtener el marginal de tome el límite a medida que va al infinito, donde Viceversa para ). Claramente seleccionando diferentes valores de puede obtener diferentes distribuciones conjuntas! $F_X(x)$ $H_{X,Y}(x,y)$ $y$ $F_Y(y)=1$ $Y$ $\alpha$

— Lepisma
fuente

En efecto. Olvidé la "articulación".

— Alecos Papadopoulos

@Alecos Dado que las distribuciones marginales no determinan la distribución conjunta en general (solo edité mi respuesta para aclarar esto), ¿dónde deja esto su pregunta?

— Silverfish

@Alecos Creo que ahora tengo una mejor comprensión de la sustancia de la pregunta: dadas dos distribuciones marginales, hay un conjunto infinito de posibles distribuciones conjuntas. ¿En qué circunstancias imponer la condición de covarianza cero nos deja con solo una de esas distribuciones conjuntas posibles, a saber, aquella en la que las variables aleatorias son independientes?

— Silverfish

Si me quedo con el caso bivariado, con MGF conjunta y MGF marginales y , la pregunta es: ¿cuándo implica que ?

M_{X, Y} (s, t)

$M_{X,Y}(s,t)$

M_{X} (s) = M_{X, Y} (s, 0)

$M_X(s)=M_{X,Y}(s,0)$

M_{Y} (t) = M_{X, Y} (0, t)

$M_Y(t)=M_{X,Y}(0,t)$

\frac{\partial^{2}}{\partial s \partial t} M_{X, Y} (s, t) |_{s = 0, t = 0} = \frac{\partial}{\partial s} M_{X, Y} (s, t) |_{s = 0, t = 0} \cdot \frac{\partial}{\partial t} M_{X, Y} (s, t) |_{s = 0, t = 0}

$\frac{\partial^2}{\partial s \partial t}M_{X,Y}(s,t)|_{s=0,t=0} = \frac{\partial}{\partial s} M_{X,Y}(s,t)|_{s=0,t=0} \cdot \frac{\partial}{\partial t} M_{X,Y}(s,t)|_{s=0,t=0}$

M_{X, Y} (s, t) = M_{X, Y} (s, 0) \cdot M_{X, Y} (0, t)

$M_{X,Y}(s,t)=M_{X,Y}(s,0) \cdot M_{X,Y}(0,t)$

— Silverfish

@Silverman Comprobaría el concepto de subindependencia , en.wikipedia.org/wiki/Subindependence , para ver si este problema puede formularse en términos de funciones generadoras de momentos.

— Alecos Papadopoulos