Entropía diferencial

La entropía diferencial de la RV gaussiana es . Esto depende de , que es la desviación estándar. $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Si normalizamos la variable aleatoria para que tenga una varianza unitaria, su entropía diferencial cae. Para mí, esto es contraintuitivo porque la complejidad de normalización de Kolmogorov debería ser muy pequeña en comparación con la reducción de la entropía. Simplemente se puede diseñar un decodificador de codificador que divida / multiplique con la constante de normalización para recuperar cualquier conjunto de datos generado por esta variable aleatoria.

Probablemente mi entendimiento está apagado. ¿Podrías señalar mi defecto?

information-theory entropy randomness

— Cagdas Ozgenc
fuente

Voy a intentar esto, aunque está un poco por encima de mi cabeza, así que trata con una pizca de sal ...

No estás exactamente equivocado. Creo que donde cae tu experimento mental es que la entropía diferencial no es el caso limitante de la entropía. Supongo que debido a esto, se pierden los paralelos entre él y la complejidad de Kolmogorov.

Digamos que tenemos una variable aleatoria discreta . Podemos calcular su entropía de Shannon de la siguiente manera sumando todos sus valores posibles , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Hasta ahora muy aburrido. Ahora supongamos que es una versión cuantizada de una variable aleatoria continua; por ejemplo, tenemos la función de densidad que genera muestras del conjunto de números reales y la convertimos en un histograma. Tendremos un histograma lo suficientemente fino como para que la función de densidad sea esencialmente lineal. En ese caso vamos a tener una entropía como esta, $X$ $p()$ dondees el ancho de nuestros contenedores de histograma yes el punto medio de cada uno. Tenemos un producto dentro de ese logaritmo: separémoslo y usemos la propiedad de las distribuciones de probabilidad que suman 1 para moverlo fuera de la suma, dándonos

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

$\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— Palmadita
fuente

Gracias. Eso es muy interesante. No sabía que había un truco en la teoría.

— Cagdas Ozgenc

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Cagdas - No sé si lo llamaría un truco. Solo mide una cosa diferente. Y como señala Cardinal, tiene algunos usos. En cuanto a si se romperá cuando se aplique a la distribución binominal, bueno, depende de cómo lo apliques :). Probablemente valga la pena comenzar un nuevo tema si no está seguro.

— Pat

Pensé que la entropía es obviamente diferente de la complejidad de Kolmogorov cuando se consideran generadores de números pseudoaleatorios.

— James Bowery