Ganancia de información, información mutua y medidas relacionadas

33

Andrew More define la ganancia de información como:

$IG(Y|X) = H(Y) - H(Y|X)$

donde es la entropía condicional . Sin embargo, Wikipedia llama a la cantidad anterior información mutua . $H(Y|X)$

Wikipedia, por otro lado, define la ganancia de información como la divergencia Kullback-Leibler (también conocida como divergencia de información o entropía relativa) entre dos variables aleatorias:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

donde se define como la entropía cruzada . $H(P,Q)$

Estas dos definiciones parecen ser inconsistentes entre sí.

También he visto a otros autores hablar sobre dos conceptos relacionados adicionales, a saber, la entropía diferencial y la ganancia de información relativa.

¿Cuál es la definición o relación precisa entre estas cantidades? ¿Hay un buen libro de texto que los cubra a todos?

Ganancia de información
Información mutua
Entropía cruzada
Entropía condicional
Entropía diferencial
Ganancia de información relativa

information-theory

— Amelio Vazquez-Reina
fuente

2

Para aumentar aún más la confusión, tenga en cuenta que la notación que utilizó para la entropía cruzada también es la misma notación utilizada para la entropía conjunta. He usado para la entropía cruzada para evitar confundirme, pero eso es para mi beneficio y nunca he visto esa notación en otro lugar.

H^{x} (P, Q)

$H^x(P, Q)$

— Michael McGowan

24

Creo que llamar a la divergencia Kullback-Leibler "ganancia de información" no es estándar.

La primera definición es estándar.

EDITAR: Sin embargo, también se puede llamar información mutua. $H(Y)−H(Y|X)$

Tenga en cuenta que no creo que encuentre ninguna disciplina científica que realmente tenga un esquema de nomenclatura estandarizado, preciso y consistente. Por lo tanto, siempre tendrá que mirar las fórmulas, porque generalmente le darán una mejor idea.

Libros de texto: ver "Buena introducción a diferentes tipos de entropía" .

También: Cosma Shalizi: Métodos y técnicas de la ciencia de sistemas complejos: una descripción general, capítulo 1 (pp. 33-114) en Thomas S. Deisboeck y J. Yasha Kresh (eds.), Ciencia de sistemas complejos en biomedicina http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Entropía y teoría de la información http://ee.stanford.edu/~gray/it.html

David MacKay: Teoría de la información, inferencia y algoritmos de aprendizaje http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

también, "¿Qué es" entropía y ganancia de información "?"

— wolf.rauch
fuente

Gracias @wolf. Me inclino a aceptar esta respuesta. Si la primera definición es estándar, ¿cómo definiría la información mutua?

— Amelio Vazquez-Reina

2

lo siento. la primera cantidad, también se suele llamar información mutua. Ese es un caso de nombres inconsistentes. Como dije, no creo que haya una correspondencia coherente, inequívoca e individual de conceptos y nombres. Por ejemplo, "información mutua" o "ganancia de información" es un caso especial de divergencia de KL, por lo que ese artículo de Wikipedia no está tan lejos.

I G (Y | X) = H (Y) - H (Y | X)

$IG(Y|X)=H(Y)−H(Y|X)$

— wolf.rauch

4

La divergencia de Kullback-Leiber entre y es la misma que la información mutua, que se puede derivar fácilmente: $p(X,Y)$ $P(X)P(Y)$

\begin{aligned} I (X; Y) & = H (Y) - H (Y ∣ X) \\ = - \sum_{y} p (y) \log p (y) + \sum_{x, y} p (x) p (y ∣ x) \log p (y ∣ x) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{y} (\sum_{x} p (x, y)) \log p (y) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{x, y} p (x, y) \log p (y) \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x)}{p (y)} \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x) p (x)}{p (y) p (x)} \\ = \sum_{x, y} p (x, y) \log \frac{p (x, y)}{p (y) p (x)} \\ = D_{K L} (P (X, Y) ∣∣ P (X) P (Y)) \end{aligned}

$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$

Nota: $p(y) = \sum_x p(x,y)$

— Chris Elgoog
fuente

1

La información mutua se puede definir usando Kullback-Liebler como

\begin{aligned} I (X; Y) = D_{K L} (p (x, y) | | p (x) p (y)) . \end{aligned}

$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$

— Yters
fuente

1

Extracción de información mutua de conjuntos de datos textuales como una característica para entrenar el modelo de aprendizaje automático: (la tarea era predecir la edad, el género y la personalidad de los bloggers)

— Krebto
fuente

1

Ambas definiciones son correctas y consistentes. No estoy seguro de lo que no está claro, ya que señala varios puntos que pueden necesitar aclaraciones.

Primero : son nombres diferentes para la misma cosa. En diferentes contextos, uno de estos nombres puede ser preferible, lo llamaré aquí Información . $MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$

El segundo punto es la relación entre la divergencia Kullback-Leibler - e Información . La divergencia Kullback-Leibler es simplemente una medida de disimilitud entre dos distribuciones. La información se puede definir en estos términos de disimilitud de distribuciones (ver la respuesta de Yters). Entonces, la información es un caso especial de , donde se aplica para medir la diferencia entre la distribución conjunta real de dos variables (que captura su dependencia ) y la distribución conjunta hipotética de las mismas variables, si fueran ser independiente . Llamamos a esa cantidad $D_{KL}$ $K_{LD}$ $K_{LD}$ Información .

La tercera punto de aclarar es la inconsistente, aunque estándar notación que se utiliza, es decir, que es a la vez la notación para la entropía conjunta y para Cross-entropía también. $\operatorname{H} (X,Y)$

Entonces, por ejemplo, en la definición de Información : en ambas últimas líneas, es la entropía conjunta . Sin embargo, esto puede parecer inconsistente con la definición en la página de ganancia de información : pero no dejó de citar la aclaración importante - se usa allí como la cruz

\begin{aligned} I (X; Y) & \equiv H (X) - H (X | Y) \\ \equiv H (Y) - H (Y | X) \\ \equiv H (X) + H (Y) - H (X, Y) \\ \equiv H (X, Y) - H (X | Y) - H (Y | X) \end{aligned}

$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$

H (X, Y)

$\operatorname{H}(X,Y)$

D K L (P | | Q) = H (P, Q) - H (P)

$DKL(P||Q)=H(P,Q)−H(P)$

H (P, Q)

$\operatorname{H}(P,Q)$ -entropía (como es el caso también en la página de entropía cruzada ).

La entropía conjunta y la entropía cruzada NO son lo mismo.

Vea esto y esto donde se aborda esta notación ambigua y se ofrece una notación única para la entropía cruzada - $H_q(p)$

Espero ver esta notación aceptada y las páginas wiki actualizadas.

— אלימלך שרייבר
fuente

de extrañar por qué las ecuaciones no se muestran correctamente ..

— Shaohua Li