En 1946, el geofísico y estadístico bayesiano Harold Jeffreys introdujo lo que hoy llamamos la divergencia Kullback-Leibler, y descubrió que para dos distribuciones que están "infinitamente cercanas" (esperemos que los chicos de Math SE no vean esto ;-) podemos escribir su divergencia Kullback-Leibler como una forma cuadrática cuyos coeficientes están dados por los elementos de la matriz de información de Fisher. Interpretó esta forma cuadrática como el elemento de longitud de una variedad riemanniana, con la información de Fisher jugando el papel de la métrica riemanniana. De esta geometrización del modelo estadístico, derivó su anterior de Jeffreys como la medida inducida naturalmente por la métrica de Riemann, y esta medida puede interpretarse como una distribución intrínsecamente uniforme en la variedad, aunque, en general, no es una medida finita.
Para escribir una prueba rigurosa, deberá detectar todas las condiciones de regularidad y cuidar el orden de los términos de error en las expansiones de Taylor. Aquí hay un breve bosquejo del argumento.
La divergencia simétrica de Kullback-Leibler entre dos densidades y se define comofg
D[f,g]=∫(f(x)−g(x))log(f(x)g(x))dx.
Si tenemos una familia de densidades parametrizadas por , entoncesθ=(θ1,…,θk)
D [ p (⋅∣ θ ) , p (⋅∣ θ + Δ θ ) ] = ∫(p(x,∣θ)−p(x∣θ+Δθ))log(p(x∣θ)p(x∣θ+Δθ))dx,
en el que . Al presentar la notación
poco de álgebra simple da
Usando la expansión de Taylor para el logaritmo natural, tenemos
Δθ=(Δθ1,…,Δθk)Δ p ( x ∣ θ ) = p ( x ∣ θ ) - p ( x ∣ θ + Δ θ ),
D [ p (⋅∣ θ ) , p (⋅∣ θ + Δ θ ) ] = ∫Δ p ( x ∣ θ )p ( x ∣ θ )Iniciar sesión( 1 + Δ p ( x ∣ θ )p ( x ∣ θ )) p(x∣θ)reX.
Iniciar sesión( 1 + Δ p ( x ∣ θ )p ( x ∣ θ )) ≈ Δ p ( x ∣ θ )p ( x ∣ θ ),
D [ p (
y por lo tanto,
Pero
Por lo tanto,
en el que
D [ p (⋅∣ θ ) , p (⋅∣ θ + Δ θ ) ] ≈ ∫( Δ p ( x ∣ θ )p ( x ∣ θ ))2p ( x ∣ θ )reX.
Δ p ( x ∣ θ )p ( x ∣ θ )≈ 1p ( x ∣ θ )∑i = 1k∂p ( x ∣ θ )∂θyoΔ θyo= ∑i = 1k∂Iniciar sesiónp ( x ∣ θ )∂θyoΔ θyo.
D [ p (⋅∣ θ ) , p (⋅∣ θ + Δ θ ) ] ≈ ∑i , j = 1ksolyo jΔ θyoΔ θj,
solyo j= ∫∂Iniciar sesiónp ( x ∣ θ )∂θyo∂Iniciar sesiónp ( x ∣ θ )∂θjp ( x ∣ θ )reX.
Este es el artículo original:
Jeffreys, H. (1946). Una forma invariable para la probabilidad previa en problemas de estimación. Proc. Royal Soc. de Londres, Serie A, 186, 453–461.