¿La entropía diferencial es siempre menor que infinito?

Para una variable aleatoria continua arbitraria, digamos , ¿es su entropía diferencial siempre menor que ? (Está bien si se trata de ). Si no es así, ¿cuál es la condición necesaria y suficiente para que sea menos de ? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
fuente

¿Intentaste algún ejemplo? Como, distribución uniforme en un intervalo de longitud

L

$L$

— Piotr Migdal

De hecho, la entropía diferencial de una distribución uniforme (en cualquier intervalo finito) siempre es finita, es decir, log (L), por lo tanto, acotada. De hecho, podría identificar 2 clases de distribuciones continuas cuya entropía siempre está limitada: (1) cualquier distribución cuyo soporte esté contenido en un intervalo finito, y (2) cualquier distribución cuyo segundo momento sea finito. El primero está limitado por la distribución uniforme; mientras que este último está limitado por la distribución gaussiana.

— syeh_106

De hecho, también puedo construir una distribución con segundo momento infinito y todavía tiene entropía finita. Por ejemplo, considere f (x) = 3 / (x ^ 2), x> 3. Claramente E [X ^ 2] es infinito, pero h (X) ~ = -3.1 nats. Sin embargo, no he podido confirmar si esto es cierto para variables aleatorias continuas arbitrarias, o idear un contraejemplo para refutarlo. Realmente lo agradecería si alguien puede mostrar esto.

— syeh_106

Gracias por sus comentarios y los enlaces, Piotr. Por cierto, también verifiqué uno de los materiales de mi curso y encontré exactamente el mismo ejemplo de una variable aleatoria discreta con soporte infinitamente contable. Motivado por esto, no es difícil construir un análogo continuo. Entonces la respuesta a la primera pregunta es evidente. Lo resumiré a continuación para otras personas que pueden tener la misma pregunta. Por cierto, necesito hacer una corrección en mi segundo comentario anterior, específicamente, para f (x) = 3 / (x ^ 2), h (X) debería ser positivo, es decir, 3.1 nats.

— syeh_106

Esta pregunta y la respuesta son ambiguas porque no establecen sobre qué conjuntos se deben aplicar los límites. Si

es un RV, entonces tiene una entropía, punto. Si se trata de un RV continuo "arbitrario", entonces (obviamente) no hay límite superior posible. ¿Qué restricciones pretendes imponer a

? Según los comentarios y su respuesta, parece que es posible que desee reparar el soporte de

o tal vez no? ¿Quizás quiera limitar

a esas variables con límites dados en ciertos momentos? ¿Quizás quieres que

esté en una familia paramétrica, o tal vez no? Edite esta pregunta para aclarar.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

Pensé en esta pregunta un poco más y logré encontrar un contraejemplo, gracias también a los comentarios de Piotr anteriores. La respuesta a la primera pregunta es no: la entropía diferencial de una variable aleatoria continua (RV) no siempre es menor que . Por ejemplo, considere un RV X continuo cuyo pdf es $\infty$ para.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

No es difícil verificar que su entropía diferencial es infinita. Sin embargo, crece bastante lento (aprox. Logarítmicamente).

Para la segunda pregunta, no conozco una condición simple necesaria y suficiente. Sin embargo, una respuesta parcial es la siguiente. Clasifique un RV continuo en uno de los siguientes 3 tipos según su soporte, es decir

Tipo 1: un RV continuo cuyo soporte está acotado, es decir, contenido en [a, b].
Tipo 2: un RV continuo cuyo soporte está medio acotado, es decir, contenido en [a, ) o ( $\infty$ , a] Tipo 3: un RV continuo cuyo soporte es ilimitado. $-\infty$

Luego tenemos lo siguiente -

$\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
fuente

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

Gracias, Piotr, por los consejos sobre las políticas de SE. (Sí, obviamente soy nuevo aquí.) Sobre los momentos finitos que conducen a la entropía limitada, ¿compartirías tu prueba? ¡Gracias!

— syeh_106

@PiotrMigdal Planeo dejar la respuesta a esta pregunta en su estado actual después de agregar un toque final. Motivado por el comentario anterior de Piotr, consideré si la media finita conducía a la entropía finita. No pude concluir esto en general. Lo que sí encontré es que era cierto si el soporte del RV está medio limitado. Por favor vea la respuesta revisada arriba. Espero una mejor respuesta de alguien algún día.

— syeh_106

"No es difícil verificar que su entropía diferencial sea infinita". ¿Puedes mostrar cómo verificar esto? Parece cierto para la integral de Riemann, pero la entropía diferencial es con respecto a la medida de Lebesgue. Tengo problemas para verificar que la integral de Lebesgue correspondiente no converja.

— cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$