Ejemplos de datos independientes y no correlacionados en la vida real, y formas de medirlos / detectarlos

Siempre escuchamos acerca de este vector de datos VS este otro vector de datos que es independiente el uno del otro, o no correlacionado, etc., y si bien es fácil encontrar las matemáticas con respecto a esos dos conceptos, quiero vincularlos en ejemplos de vida, y también encontrar formas de medir esta relación.

Desde este punto de vista, estoy buscando ejemplos de dos señales que sean de las siguientes combinaciones: (Comenzaré con algunas):

Dos señales que son independientes Y (necesariamente) no correlacionadas:
- El ruido del motor de un automóvil ( ) y su voz ( ) mientras habla. $v_1[n]$ $v_2[n]$
- Una grabación de humedad todos los días ( ) y el índice dow-jones ( ). $v_1[n]$ $v_2[n]$

Q1) ¿Cómo medirías / probarías que son independientes con esos dos vectores en la mano? Sabemos que la independencia significa que el producto de sus archivos PDF es igual a su PDF conjunto, y eso es genial, pero con esos dos vectores en la mano, ¿cómo se prueba su independencia?

Dos señales que NO son independientes, pero que aún no están correlacionadas:

P2) No puedo pensar en ningún ejemplo aquí ... ¿cuáles serían algunos ejemplos? Sé que podemos medir la correlación tomando la correlación cruzada de dos de esos vectores, pero ¿cómo demostraríamos que tampoco son independientes?

Dos señales que están correlacionadas:
- Un vector que mide la voz de un cantante de ópera en la sala principal, , mientras alguien graba su voz desde algún lugar dentro del edificio, digamos en la sala de ensayo ( ). $v_1[n]$ $v_2[n]$
- Si continuamente midió su ritmo cardíaco en su automóvil, ( ), y también midió la intensidad de las luces azules que inciden en su parabrisas trasero ( ) ... Supongo que eso estaría muy correlacionado. . :-) $v_1[n]$ $v_2[n]$

Q3) Relacionado con q2, pero en el caso de medir la correlación cruzada desde este punto de vista empírico, ¿es suficiente mirar el producto punto de esos vectores (ya que ese es el valor en el pico de su correlación cruzada)? ¿Por qué nos importarían otros valores en la función cross-corr?

Gracias de nuevo, ¡cuantos más ejemplos se den, mejor para construir la intuición!

cross-correlation independence

— Spacey
fuente

@DilipSarwate Gracias Dilip, lo echaré un vistazo. Por ahora, algunos ejemplos serían buenos.

— Spacey

No se puede "probar" que son independientes de la misma manera que incluso una encuesta bien construida no puede "probar" cómo van a votar todos, y por las mismas razones.

— Jim Clay

@JimClay Siéntase libre de relajar el criterio 'probar': lo que estoy tratando de obtener son formas de medir / cuantificar la independencia. A menudo escuchamos acerca de ser independientes, bueno, ¿cómo saben eso? ¿Qué cinta métrica se está utilizando?

— Spacey

Me gustaría saber si la corelación cruzada se puede utilizar para dos señales analógicas, una de alta resolución y otra de baja resolución para fines de análisis.

Si tenemos alguna variable aleatoria X y construimos 2 señales a ** = (x) y ** b ** = (x) siendo y ortogonales y ** x = a + b $f_1$ $f_2$ $f_1$ $f_2$ . ¿Esto implicaría que tales señales son independientes? ¿Requiere esto algunas condiciones adicionales? Esta propiedad sería interesante, ya que evita la construcción pdf conjunta de una y b .

— Mladen

Respuestas:

Algunos elementos ... (Sé que esto no es exhaustivo, una respuesta más completa probablemente debería mencionar momentos)

Para verificar si dos distribuciones son independientes, debe medir cuán similar es su distribución conjunta al producto de su distribución marginal . Para este propósito, puede usar cualquier distancia entre distribuciones. Si utiliza la divergencia Kullback-Leibler para comparar esas distribuciones, considerará la cantidad: $p(x,y)$ $p(x) \times p(y)$

$\int_x \int_y p(x, y) \log \frac{p(x, y)}{p(x) p(y)} dx dy$

Y habrás reconocido ... la información mutua! Cuanto más bajo es, más independientes son las variables.

Más prácticamente, para calcular esta cantidad a partir de sus observaciones, puede estimar las densidades , , partir de sus datos utilizando un estimador de densidad Kernel y realizar una integración numérica en una cuadrícula fina ; o simplemente cuantifique sus datos en contenedores y use la expresión de la información mutua para distribuciones discretas. $p(x)$ $p(y)$ $p(x, y)$ $N$

De la página de Wikipedia sobre independencia estadística y correlación:

Parcelas de distribución

A excepción del último ejemplo, estas distribuciones 2D tienen correlaciones marginales no correlacionadas (matriz de covarianza diagonal), pero no independientes, y . $p(x, y)$ $p(x)$ $p(y)$

De hecho, hay situaciones en las que puede observar todos los valores de las funciones de correlación cruzada. Surgen, por ejemplo, en el procesamiento de señales de audio. Considere dos micrófonos que capturan la misma fuente, pero distantes de unos pocos metros. La correlación cruzada de las dos señales tendrá un pico fuerte en el retraso correspondiente a la distancia entre micrófonos dividida por la velocidad del sonido. Si solo observa la correlación cruzada en el retraso 0, ¡no verá que una señal es una versión de la otra con un cambio de tiempo!

— pichenettes
fuente

Gracias pichenettes: 1) ¿Puede dar más detalles sobre su primer punto? Realmente me está costando entender cómo, a partir de dos vectores de datos, x [n] e y [n], posiblemente pueda encontrar su PDF CONJUNTO ,

. Puedo entender cómo tomar un histograma de x [n] me dará pdf de X, (

), y lo mismo con Y, pero ¿cómo diablos se llega a una articulación con dos vectores dados? preguntando concretamente: mapeo concreto exacto de un PDF de muestras observadas. Esto es lo que más me confunde. (cont.)

p (x, y)

$p(x,y)$

p(x}

$p(x}$

— Spacey

(cont.) 2) Entonces, para resumir: si la matriz de covarianza de x e y es diagonal, entonces no están correlacionadas, pero NO son necesariamente independientes. Probar la independencia fue el problema con la pregunta de seguimiento (1). Sin embargo, si mostramos que son indep, entonces, por supuesto, su matriz de covarianza TIENE que ser diagonal. ¿He entendido bien? ¿Cuál es un ejemplo de 2 señales físicas que puedo medir en la vida real que serían dependientes, pero no correlacionadas? Gracias de nuevo.

— Spacey

Digamos que tienes dos señales

representadas como vectores de

elementos. Puede obtener una estimación de

utilizando, por ejemplo, un estimador de densidad de Kernel:

x_{n}

$x_n$

y_{n}

$y_n$

N

$N$

p (x, y)

$p(x, y)$

donde

es una función Kernel. O puede usar la misma técnica que para construir un histograma, pero en 2D. Construya una cuadrícula rectangular, cuente cuántos pares

caen en cada celda de la cuadrícula y use

p^{*} (x, y) = \sum_{i} \frac{1}{N} K (x - x_{i}, y - y_{i})

$p^*(x, y) = \sum_i \frac{1}{N}K(x - x_i, y - y_i)$

K

$K$

(x_{n}, y_{n})

$(x_n, y_n)$

donde N es el tamaño de sus señales y

es el número de elementos en la celda asociada con el punto

p^{*} (x, y) = \frac{C}{N}

$p^*(x, y) = \frac{C}{N}$

C

$C$

(x, y)

$(x, y)$

— pichenettes

"2 señales físicas que serían dependientes, pero no correlacionadas": Digamos que pirateamos el GPS de una cabina de Nueva York para registrar un historial (latitud, longitud) de su posición. Hay muchas posibilidades de que el lat. Sea largo. los datos no estarán correlacionados: no hay una "orientación" privilegiada de la nube de puntos. Pero difícilmente será independiente, ya que, si se le pidiera adivinar la latitud de la cabina, proporcionaría una suposición mucho mejor si supiera la longitud (podría mirar un mapa y descartar el [lat, largas] parejas ocupadas por edificios).

— pichenettes

Otro ejemplo: dos senos se agitan en un múltiplo entero de la misma frecuencia. Correlación nula (la base de Fourier es ortonormal); pero si conoce el valor de uno, solo hay un conjunto finito de valores que el otro puede tomar (piense en un diagrama de Lissajous).

— pichenettes

Inferir si dos señales son independientes es muy difícil de hacer (dadas observaciones finitas) sin ningún conocimiento previo / suposiciones.

Dos variables aleatorias e son independientes si el valor de no proporciona información sobre el valor de (es decir, no afecta nuestra distribución de probabilidad previa para ). Esto es equivalente a que cualquier transformación no lineal de e no esté correlacionada, es decir, $X$ $Y$ $X$ $Y$ $Y$ $X$ $Y$ para cualquier y no lineal,suponiendo que wlog ambas variables tengan media cero. La diferencia entre independencia y falta de correlación es que e no están correlacionadas si lo anterior es válido, solo para , la función de identidad.

cov (f_{1} (X), f_{2} (Y)) = E (f_{1} (X), f_{2} (Y)) = 0

$\text{cov}(f_1(X),f_2(Y)) = E(f_1(X),f_2(Y)) = 0$

f_{1}

$f_1$

f_{2}

$f_2$

X

$X$

Y

$Y$

f_{1} (x) = f_{2} (x) = x

$f_1(x) = f_2(x) = x$

Si asumimos la Gaussianidad conjunta, todos los momentos conjuntos mayores que el orden 2 son iguales a cero y, en este caso, sin correlación implica independiente. Si no tenemos suposiciones previas, la estimación de los momentos conjuntos nos dará información sobre 'cuán dependientes' son unos de otros. $E(X^iY^j)$

Podemos generalizar esto a las señales e considerando los espectros cruzados en todas las frecuencias . $X(t)$ $Y(t)$

S_{X, Y} (f), S_{X^{2}, Y} (f), S_{X, Y^{2}} (f) \dots

$S_{X,Y}(f),S_{X^2,Y}(f),S_{X,Y^2}(f) \dots$

f

$f$

Ejemplo :

Después de leer el comentario de 'pichenettes', me inspiró a usar su idea como ejemplo. Considere las señales para y . Claramente, no hay transformación lineal que envíe a

X (t) = \sin (2 π f t)

$X(t) = \sin(2 \pi ft)$

Y (t) = \sin (2 π f t k)

$Y(t) = \sin( 2 \pi ftk)$

k \in Z

$k \in \mathbb{Z}$

k \neq 1

$k \neq 1$

X (t)

$X(t)$

Y (t)

$Y(t)$ a medida que oscilan a diferentes frecuencias. Sin embargo, es bien sabido que podemos escribir

como una función en

y, por lo tanto,

para algún polinomio

\sin (k x)

$\sin(kx)$

\sin (x)

$\sin(x)$

Y (t) = f (X (t))

$Y(t) = f (X (t))$

f

$f$

Por lo tanto, a pesar de ser señales no correlacionadas, e no son independientes. $X(t)$ $Y(t)$

— rwolst
fuente

X_{x^{2}, Y} (f)

$X_{x^2, Y}(f)$

X^{2} (t)

$X^2(t)$

Y (t)

$Y(t)$