Diferencias entre la distancia Bhattacharyya y la divergencia KL

33

Estoy buscando una explicación intuitiva para las siguientes preguntas:

En estadística y teoría de la información, ¿cuál es la diferencia entre la distancia de Bhattacharyya y la divergencia de KL, como medidas de la diferencia entre dos distribuciones de probabilidad discretas?

¿No tienen absolutamente ninguna relación y miden la distancia entre dos distribuciones de probabilidad de una manera totalmente diferente?

— JewelSue
fuente

36

El coeficiente de Bhattacharyya se define como

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} (p ‖ q) \geq 2 d_{H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

Sin embargo, esta no es la pregunta: si la distancia Bhattacharyya se define como entonces Por lo tanto, la desigualdad entre las dos distancias es

d_{B} (p, q) \overset{def}{=} - \log D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ Uno podría preguntarse si esta desigualdad se sigue de la primera. Sucede lo contrario: dado que

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ ingrese la descripción de la imagen aquí

tenemos el orden completo

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— Xi'an
fuente

2

¡Brillante! Esta explicación debería ser la que estoy buscando ansiosamente. Solo una última pregunta: ¿en qué caso (o qué tipos de P y Q) la desigualdad se convertirá en igualdad?

— JewelSue

1

Dado que la función es estrictamente convexa, supongo que el único caso para la igualdad es cuando la relación es constante en .

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— Xi'an

55

Y el único caso cuando es constante en es cuando .

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— Xi'an

8

No sé de ninguna relación explícita entre los dos, pero decidí echarles un vistazo rápido para ver qué podía encontrar. Así que esta no es una gran respuesta, sino un punto de interés.

Por simplicidad, trabajemos sobre distribuciones discretas. Podemos escribir la distancia BC como

d_{BC} (p, q) = - \ln \sum_{x} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

y la divergencia KL como

d_{KL} (p, q) = \sum_{x} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

Ahora no podemos empujar el registro dentro de la suma en la distancia , así que intentemos tirar del registro hacia el exterior de la divergencia : $\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \prod_{x} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

Consideremos su comportamiento cuando se fija como la distribución uniforme sobre posibilidades: $p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\prod_{x} q (x))}^{\frac{1}{n}} d_{BC} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{x} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

A la izquierda, tenemos el registro de algo similar en forma a la media geométrica . A la derecha, tenemos algo similar al registro de la media aritmética . Como dije, esta no es una gran respuesta, pero creo que da una clara intuición de cómo la distancia BC y la divergencia KL reaccionan a las desviaciones entre y . $p$ $q$

— Andy Jones
fuente