¿Es posible aplicar la divergencia KL entre distribución discreta y continua?

12

No soy matemático. He buscado en Internet sobre KL Divergence. Lo que aprendí es que la divergencia KL mide la información perdida cuando aproximamos la distribución de un modelo con respecto a la distribución de entrada. Los he visto entre dos distribuciones continuas o discretas. ¿Podemos hacerlo entre continuo y discreto o viceversa?

distributions mathematical-statistics kullback-leibler

— prakash
fuente

Relacionado: stats.stackexchange.com/q/6907/2970

— cardenal

3

No: la divergencia KL solo se define en distribuciones sobre un espacio común. Pregunta sobre la densidad de probabilidad de un punto bajo dos distribuciones diferentes, y . Si es una distribución en y una distribución en , entonces no tiene sentido para los puntos y no tiene sentido para los puntos $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$ . De hecho, ni siquiera podemos hacerlo para dos distribuciones continuas en espacios de diferentes dimensiones (o discretos, o en cualquier caso en que los espacios de probabilidad subyacentes no coincidan).

Si tiene un caso en particular en mente, puede ser posible llegar a una medida similar de disparidad entre las distribuciones. Por ejemplo, podría tener sentido codificar una distribución continua bajo un código para una discreta (obviamente con información perdida), por ejemplo, redondeando al punto más cercano en el caso discreto.

— Dougal
fuente

Tenga en cuenta que la divergencia KL entre distribuciones discretas y absolutamente continuas está bien definida.

— Olivier

@Olivier La definición habitual requiere una medida dominante común, ¿no?

— Dougal

1

Tienes razón cuando P y Q se definen en diferentes espacios. Pero en un espacio medible común, dicha medida siempre existe (tome P + Q por ejemplo), y la divergencia KL no depende de la elección particular de la medida dominante.

— Olivier

8

Sí, la divergencia KL entre variables aleatorias continuas y discretas está bien definida. Si y son distribuciones en algún espacio , entonces y tienen densidades , con respecto a y $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

$\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Olivier
fuente

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

Teorema de cambio de medida.

— Olivier

1

No en general La divergencia KL es

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

$P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

$\sigma$

— jtobin
fuente