¿Hay algún uso para la cantidad

\int f (x)^{2} d x

$\int f(x)^2 dx$ en estadística o teoría de la información?

probability entropy information-theory

— charles.y.zheng
fuente

Entropía de Renyi

— cardenal

es un pdf, ¿verdad?

f

$f$

— whuber

Sí,

es una densidad.

f

$f$

— charles.y.zheng

@ Cardinal Answer!

@mbq: Ok, intentaré escribir algo un poco más tarde que merezca una respuesta. :)

— cardenal

Dejando denotar una función de densidad de probabilidad (ya sea con respecto a Lebesgue o medida de conteo, respectivamente), la cantidad $f$ $\newcommand{\rd}{\mathrm{d}}$ se conoce como laentropíadeRenyide orden. Es una generalización de la entropía de Shannon que conserva muchas de las mismas propiedades. Para el caso, interpretamoscomo, y esto corresponde a la entropía estándar de Shannon

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$ .

Renyi introdujo esto en su artículo.

A. Renyi, Sobre medidas de información y entropía , Proc. Cuarto Berkeley Symp. en matemáticas., Stat. y prob.(1960), págs. 547–561.

que vale la pena leer, no solo por las ideas sino por el estilo de exposición ejemplar.

El caso es una de las opciones más comunes para y este caso especial (también) a menudo se conoce como la entropía de Renyi. Aquí vemos que para una variable aleatoria distribuida con densidad $\alpha = 2$ $\alpha$

H_{2} (F) = - Iniciar sesión (\int F^{2} re μ) = - Iniciar sesión (mi F (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$ .

Tenga en cuenta que es una función convexa y, por desigualdad de Jensen, tenemos $- \log(x)$

H_{2} (F) = - Iniciar sesión (mi F (X)) \leq mi (- Iniciar sesión F (X)) = - mi Iniciar sesión F (X) = H (F)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$ donde el lado derecho denota la entropía de Shannon. Por lo tanto, la entropía de Renyi proporciona un límite inferior para la entropía de Shannon y, en muchos casos, es más fácil de calcular.

Otra instancia natural en la que surge la entropía de Renyi es cuando se considera una variable aleatoria discreta y una copia independiente . En algunos escenarios, queremos saber la probabilidad de que , que mediante un cálculo elemental es $X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

$f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

La entropía (general) de Renyi también está aparentemente relacionada con la energía libre de un sistema en equilibrio térmico, aunque no estoy personalmente interesado en eso. Un artículo (muy) reciente sobre el tema es

JC Baez, Renyi entropía y energía libre , arXiv [quant-ph] 1101.2098 (febrero de 2011).

— cardenal
fuente

De hecho, estaba usando la entropía de Renyi como un sustituto de la entropía de Shannon; Es bueno ver la confirmación de mi intuición. Gracias por la respuesta esclarecedora.

— charles.y.zheng

- \log x

$-\log x$

Veo. Específicamente, necesito la propiedad de que la entropía máxima distribución conjunta, que satisface dados marginales es el producto de los marginales (lo que se obtiene de la independencia.)

— charles.y.zheng