¿Cómo calcular la información mutua?


10

Estoy un poco confundido. ¿Alguien puede explicarme cómo calcular la información mutua entre dos términos en base a una matriz de documentos de términos con ocurrencia de términos binarios como ponderaciones?

WhyHowWhminorteWhmirmireoCtumetrominortet11111reoCtumetrominortet210 010 0reoCtumetrominortet31110 0

I(X;Y)=yYxXp(x,y)log(p(x,y)p(x)p(y))

Gracias


¿Qué son e ? YXY
Dilip Sarwate

X e Y son términos. X podría ser "Por qué" e Y podría ser "Cómo".
user18075

Respuestas:


7

¿Qué tal formar una tabla de probabilidad conjunta que contenga las coincidencias normalizadas en los documentos? Entonces puede obtener entropía conjunta y entropía marginal usando la tabla. Finalmente,

I(X,Y)=H(X)+H(Y)H(X,Y).

1
Cuando se han determinado las distribuciones conjuntas y marginales, ¿por qué es necesario calcular , H ( Y ) y H ( X , Y ) y usar la fórmula que muestra? ¿No se puede determinar la información mutua directamente a través de la fórmula dada por el OP ya que todo lo necesario para "enchufar", a saber? p ( x , y ) , p ( x ) y p ( y ) se conocen en este punto? H(X)H(Y)H(X,Y)pag(X,y),pag(X)pag(y)
Dilip Sarwate

2
Las fórmulas son equivalentes, excepto que estas últimas pueden ser más interpretables a primera vista.
Zoran
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.