Demuestre que la distribución máxima de entropía con una matriz de covarianza fija es gaussiana


13

Estoy tratando de entender la siguiente prueba de que el gaussiano tiene la máxima entropía.

¿Cómo tiene sentido el paso protagonizado? Una covarianza específica solo corrige el segundo momento. ¿Qué pasa con el tercer, cuarto, quinto momento, etc.?

ingrese la descripción de la imagen aquí

Respuestas:


13

El paso marcado es válido porque (a) y q tienen los mismos momentos cero y segundo y (b) log ( p ) es una función polinómica de los componentes de x cuyos términos tienen grados totales 0 o 2 .pqlog(p)x02


Solo necesita saber dos cosas acerca de una distribución normal multivariada con media cero:

  1. es una función cuadrática de x = ( x 1 , x 2 , ... , x n ) sin términos lineales. Específicamente, hay constantes C y p i j para las cuales log ( p ( x ) ) = C + n i , j = 1 p i jlog(p)x=(x1,x2,,xn) Cpij

    Iniciar sesión(pag(X))=C+yo,j=1nortepagyojXyoXj.

    (Por supuesto, y p i j pueden escribirse en términos de Σ , pero este detalle no importa).CpagyojΣ

  2. da los segundos momentos de la distribución. Es decir, Σ i j = E p ( x i x j ) = p ( x )Σ

    Σyoj=mipag(XyoXj)=pag(X)XyoXjreX.

Podemos usar esta información para elaborar una integral:

(q(X)-pag(X))Iniciar sesión(pag(X))reX=(q(X)-pag(X))(C+yo,j=1nortepagyojXyoXj)reX.

Se divide en la suma de dos partes:

  • (q(x)p(x))Cdx=C(q(x)dxp(x)dx)=C(11)=0qp

  • (q(x)p(x))i,j=1npijxixjdx=i,j=1npij(q(x)p(x))xixjdx=0 because each of the integrals on the right hand side, q(x)xixjdx and p(x)xixjdx, has the same value (to wit, Σij) Esto es lo que pretende decir la observación "producir los mismos momentos de la forma cuadrática".

El resultado sigue inmediatamente: desde (q(X)-pag(X))Iniciar sesión(pag(X))reX=0 0, concluimos que q(X)Iniciar sesión(pag(X))reX=pag(X)Iniciar sesión(pag(X))reX.


1

Creo que lo que sucede es que en las integrales en (4.27) y (4.28) tienes q(X) y pag(X) multiplicando los términos del formulario σyojXyoXj (porque pag(X)es una densidad normal, cuando toma el registro obtiene exactamente ese tipo de términos del exponente más las constantes). Pero entonces la condición en el teorema asegura que esos términos se multipliquen porpag(X) de q(X) integrarse al mismo valor.

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.