¿Cómo depende la entropía de la ubicación y la escala?

La entropía de una distribución continua con función de densidad $f$ se define como la negativa de la expectativa de $\log(f),$ y por lo tanto es igual a

H_{f} = - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x .

$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$

También decimos que cualquier variable aleatoria $X$ cuya distribución tiene densidad $f$ tiene entropía $H_f.$ (Esta integral está bien definida incluso cuando $f$ tiene ceros, porque $\log(f(x))f(x)$ puede tomarse igual a cero en dichos valores).

Cuando $X$ e $Y$ son variables aleatorias para las cuales $Y = X+\mu$ ( $\mu$ es una constante), se dice que $Y$ es una versión de $X$ desplazada por $\mu.$ De manera similar, cuando $Y = X\sigma$ ( $\sigma$ es una constante positiva), se dice que $Y$ es una versión de $X$ escalada por $\sigma.$ La combinación de una escala con un desplazamiento da $Y=X\sigma + \mu.$

Estas relaciones ocurren con frecuencia. Por ejemplo, cambiar las unidades de medida de $X$ cambia y escala.

¿Cómo se relaciona la entropía de $Y = X\sigma + \mu$ con la de $X?$

distributions data-transformation entropy

— whuber
fuente

Como el elemento de probabilidad de $X$ es $f(x)\mathrm{d}x,$ el cambio de la variable $y = x\sigma + \mu$ es equivalente a $x = (y-\mu)/\sigma,$ donde

f (x) d x = f (\frac{y - μ}{σ}) d (\frac{y - μ}{σ}) = \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

se deduce que la densidad de $Y$ es

f_{Y} (y) = \frac{1}{σ} f (\frac{y - μ}{σ}) .

$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$

En consecuencia, la entropía de $Y$ es

H (Y) = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (\frac{y - μ}{σ})) \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

que, al cambiar la variable de nuevo a $x = (y-\mu)/\sigma,$ produce

\begin{aligned} H (Y) & = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (x)) f (x) d x \\ = - \int_{- \infty}^{\infty} (\log (\frac{1}{σ}) + \log (f (x))) f (x) d x \\ = \log (σ) \int_{- \infty}^{\infty} f (x) d x - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x \\ = \log (σ) + H_{f} . \end{aligned}

$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$

Estos cálculos utilizaron propiedades básicas del logaritmo, la linealidad de la integración y el hecho de que $f(x)\mathrm{d}x$ integra a la unidad (la Ley de probabilidad total).

La conclusión es

La entropía de $Y = X\sigma + \mu$ es la entropía de $X$ más $\log(\sigma).$

En palabras, cambiar una variable aleatoria no cambia su entropía (podemos pensar que la entropía depende de los valores de la densidad de probabilidad, pero no de dónde ocurren esos valores), mientras se escala una variable (que, para $\sigma \ge 1$ " estira "o" mancha ") aumenta su entropía por $\log(\sigma).$ Esto apoya la intuición de que las distribuciones de alta entropía están "más dispersas" que las distribuciones de baja entropía.

$\mu$ $\sigma$ $(\mu,\sigma)$ $\mu=0$ $\sigma=1.$

\log (f (x)) = - \frac{1}{2} \log (2 π) - x^{2} / 2,

$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$

De dónde

H = - E [- \frac{1}{2} \log (2 π) - X^{2} / 2] = \frac{1}{2} \log (2 π) + \frac{1}{2} .

$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$

$(\mu,\sigma)$ $\log\sigma$

H = \frac{1}{2} \log (2 π) + \frac{1}{2} + \log (σ) = \frac{1}{2} \log (2 π e σ^{2})

$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$

según lo informado por Wikipedia .

— whuber
fuente