¿Puede el valor de ganancia de información mutua ser mayor que 1?


11

Tengo una duda muy básica. Lo siento si esto irrita a algunos. Sé que el valor de la información mutua debe ser mayor que 0, pero ¿debe ser menor que 1? ¿Está limitado por algún valor superior?

Gracias Amit.

Respuestas:


18

Sí, tiene un límite superior, pero no 1.

La información mutua (en bits) es 1 cuando dos partes (estadísticamente) comparten un bit de información. Sin embargo, pueden compartir una gran cantidad de datos arbitrarios. En particular, si comparten 2 bits, entonces es 2.

La información mutua está limitada desde arriba por la entropía de Shannon de distribuciones de probabilidad para partes individuales, es decir, .I(X,Y)min[H(X),H(Y)]


Si las dos partes son variables binarias, es decir, cada una tiene solo dos resultados posibles {0,1} , entonces las entropías maximizan en cuando y . Por lo tanto, la información mutua máxima para dos variables binarias esX,YH(X),H(Y)1P(X)=0.5P(Y)=0.51
Akseli Palén
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.