¿Cuál es la principal diferencia entre la correlación y la información mutua?


15

mi pregunta se aplica particularmente a la reconstrucción de redes

Respuestas:


25

La correlación mide la relación lineal (correlación de Pearson) o la relación monotónica (correlación de Spearman) entre dos variables, X e Y.

La información mutua es más general y mide la reducción de la incertidumbre en Y después de observar X. Es la distancia KL entre la densidad conjunta y el producto de las densidades individuales. Entonces MI puede medir relaciones no monótonas y otras relaciones más complicadas.


33
La correlación no es necesariamente lineal: el rho de Spearman se basa en la función monotónica y, sin embargo, nos referimos a ella como un "coeficiente de correlación", no como un "coeficiente de información mutua". Y por una buena razón: proporciona información sobre la asociación entre dos variables. Información mutua, información redundante, varianza mutua, correlación: estos términos son muy similares, y esta pregunta se refiere a la reconstrucción de la red , por lo que supongo que terminamos en el área equivocada con la terminología correcta. Esta es una pregunta bastante específica ...
aL3xa

1
Buen punto. He editado mi respuesta para incluir relaciones monótonas. No sé nada sobre la reconstrucción de redes.
Rob Hyndman

4

Para agregar a la respuesta de Rob ... con respecto a la ingeniería inversa de una red, se puede preferir MI sobre la correlación cuando desea extraer enlaces causales en lugar de asociativos en su red. Las redes de correlación son puramente asociativas. Pero para MI, necesita más datos y potencia informática.

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.