¿Es la distribución de entropía máxima consistente con las distribuciones marginales dadas la distribución del producto de los marginales?


9

Generalmente hay muchas distribuciones conjuntas consistentes con un conjunto conocido de distribuciones marginales .P(X1=x1,X2=x2,...,Xn=xn)fi(xi)=P(Xi=xi)

De estas distribuciones conjuntas, ¿el producto formado tomando el producto de los marginales el que tiene la mayor entropía?ifi(xi)

Ciertamente creo que esto es cierto, pero realmente me gustaría ver una prueba.

Estoy más interesado en el caso donde todas las variables son discretas, pero también me interesaría el comentario sobre la entropía en relación con las medidas del producto en el caso continuo.

Respuestas:


7

Una forma es usar las propiedades de la divergencia Kullback-Leibler .

Dejar P ser la familia de distribuciones con los márgenes dados, y dejar Q ser la distribución del producto (y obviamente QP)

Ahora para cualquier PP, la entropía cruzada es:

H(P,Q)=EP[logq(X)]=EP[logiqi(X)]=iEP[logqi(X)]=iH(Pi,Qi)

es decir, la suma de la entropía cruzada de los márgenes. Dado que todos los márgenes son fijos, este término en sí mismo debe ser fijo.

Ahora podemos escribir la divergencia KL como:

DKL(PQ)=H(P,Q)H(P)

y por lo tanto:

argminPP DKL(PQ)=argmaxPP H(P)

es decir, la distribución que maximiza la entropía es la que minimiza la divergencia KL con , que por las propiedades de la divergencia KL , sabemos que es sí misma.PQQ

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.