¿Cómo interpretar la entropía diferencial?

Recientemente leí este artículo sobre la entropía de una distribución de probabilidad discreta. Describe una buena manera de pensar en la entropía como los bits de número esperados (al menos cuando se usa en su definición de entropía) necesarios para codificar un mensaje cuando su codificación es óptima, dada la distribución de probabilidad de las palabras que usa. $\log_2$

Sin embargo, cuando se extiende al caso continuo como aquí , creo que esta forma de pensar se rompe, ya que para cualquier distribución de probabilidad continua (corríjame si eso está mal), así que Me preguntaba si hay una buena manera de pensar sobre lo que significa la entropía continua, al igual que en el caso discreto. $\sum_x p(x) = \infty$ $p(x)$

entropy information-theory

— dippynark
fuente

¿Intentaste leer artículos de Wikipedia sobre entropía y entropía diferencial?

— ttnphns

Una distribución continua no tiene una función de probabilidad de masa. El análogo en el caso continuo es la integral de una densidad de probabilidad y la integral en todo el rango de x es igual a 1.

— Michael R. Chernick

@MichaelChernick No dije que tenía uno, pero la forma de pensar sobre el caso discreto se basa en el hecho de que la suma es igual a 1.

— dippynark

@ttnphns no, no lo he hecho, pero los revisaré ahora, gracias.

— dippynark

Vea también stats.stackexchange.com/questions/66186/… para la interpretación de la entropía de Shannon. Algunas de las ideas se pueden transferir.

— kjetil b halvorsen

No hay interpretación de la entropía diferencial que sea tan significativa o útil como la de la entropía. El problema con las variables aleatorias continuas es que sus valores generalmente tienen probabilidad 0 y, por lo tanto, requerirían un número infinito de bits para codificar.

Si observa el límite de entropía discreta midiendo la probabilidad de intervalos $[n\varepsilon, (n + 1)\varepsilon[$ , termina con

- \int p (x) \log_{2} p (x) d x - \log_{2} ε

$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$

y no la entropía diferencial. Esta cantidad es, en cierto sentido, más significativa, pero divergerá hasta el infinito a medida que tomemos intervalos cada vez más pequeños. Tiene sentido, ya que necesitaremos más y más bits para codificar en cuál de los muchos intervalos cae el valor de nuestro valor aleatorio.

Una cantidad más útil para las distribuciones continuas es la entropía relativa (también la divergencia Kullback-Leibler). Para distribuciones discretas:

D_{KL} [P | | Q] = \sum_{x} P (x) \log_{2} \frac{P (x)}{Q (x)} .

$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$

$P$ $-\log Q_2(x)$ $x$

D_{KL} [p ∣∣ q] = \int p (x) \log_{2} \frac{p (x)}{q (x)} d x,

$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$

$\log_2 \varepsilon$

$p(x)$ $\lambda(x) = 1$

- \int p (x) \log_{2} p (x) d x = - D_{KL} [p ∣∣ λ] .

$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ $n$ $-\log \varepsilon$ $\lambda$

Vea la charla de Sergio Verdu para una gran introducción a la entropía relativa.

— Lucas
fuente