¿Qué es la entropía empírica?

En la definición de conjuntos típicos conjuntos (en "Elementos de la teoría de la información", cap. 7.6, p. 195), utilizamos

como laentropía empíricade unasecuenciacon. Nunca me encontré con esta terminología antes. No se define explícitamente en ninguna parte según el índice del libro.

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Mi pregunta básicamente es: ¿Por qué es la entropía empírica no , donde es la distribución empírica? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

¿Cuáles son las diferencias y similitudes más interesantes entre estas dos fórmulas? (en términos de propiedades que comparten / no comparten).

information-theory entropy

— blubb
fuente

¿No son las dos expresiones algebraicamente iguales?

— whuber

@whuber: No, creo que son diferentes cantidades, con diferentes propósitos. Tenga en cuenta que el primero usa la medida verdadera

supuesta conocida a priori. El segundo no.

p

$p$

— Cardenal

Al primero le preocupa la acumulación de entropía a lo largo del tiempo y cómo se compara con la verdadera entropía del sistema. El SLLN y el CLT dicen mucho sobre cómo se comporta. El segundo se refiere a la estimación de la entropía a partir de los datos y algunas de sus propiedades también se pueden obtener a través de las mismas dos herramientas que acabamos de mencionar. Pero, mientras que el primero es imparcial, el segundo no está bajo ninguna

. Puedo completar algunos detalles si sería útil.

p

$p$

— Cardenal

@cardinal: Si desea proporcionar el comentario anterior como una respuesta (tal vez también explicar lo SLLN y CLT son - No sé estos?) Yo con mucho gusto upvote ...

— blubb

Ok, intentaré publicar más más tarde. Mientras tanto, SLLN = "Ley fuerte de grandes números" y CLT = "Teorema del límite central". Estas son abreviaturas bastante estándar que probablemente encontrarás de nuevo. Salud. :)

— cardenal

Respuestas:

Si los datos son , es decir, un -secuencia de un espacio muestral , las probabilidades puntuales empíricos son $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$ para. Aquíes uno siy cero en caso contrario. Esto es la frecuencia relativa deen la secuencia observada. Laentropíade la distribución de probabilidad dada por las probabilidades puntuales empíricos es

\hat{p} (x) = \frac{1}{n} | {i ∣ x_{i} = x} | = \frac{1}{n} \sum_{i = 1}^{n} δ_{x} (x_{i})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

H (\hat{p}) = - \sum_{x \in X} \hat{p} (x) \log \hat{p} (x) = - \sum_{x \in X} \frac{1}{n} \sum_{i = 1}^{n} δ_{x} (x_{i}) \log \hat{p} (x) = - \frac{1}{n} \sum_{i = 1}^{n} \log \hat{p} (x_{i}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$ The latter identity follows by interchanging the two sums and noting that

\sum_{x \in X} δ_{x} (x_{i}) \log \hat{p} (x) = \log \hat{p} (x_{i}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$ From this we see that

H (\hat{p}) = - \frac{1}{n} \log \hat{p} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$ with

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$ and using the terminology from the question this is the empirical entropy of the empirical probability distribution. As pointed out by @cardinal in a comment,

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$ is the empirical entropy of a given probability distribution with point probabilities

p

$p$ .

— NRH
fuente

(+1) This provides a nice illustration of what Cover and Thomas refer to as the "strange self-referential character" of the entropy. However, I'm not sure the answer actually addresses (directly) the OP's apparent concerns. :)

— cardinal

@cardinal, I know, and the answer was just a long comment to make this particular point. I did not want to repeat your points.

— NRH

You should not feel bad or hesitate to post your own answer including expansion on my comments or those of others. I'm particularly slow and bad about posting answers, and will never take offense if you or others post answers that incorporate aspects of things I may have previously commented briefly on. Quite the contrary, in fact. Cheers.

— cardinal

Entropy is defined for probability distributions. When you do not have one, but only data, and plug in a naive estimator of the probability distribution, you get empirical entropy. This is easiest for discrete (multinomial) distributions, as shown in another answer, but can also be done for other distributions by binning, etc.

A problem with empirical entropy is that it is biased for small samples. The naive estimate of the probability distribution shows extra variation due to sampling noise. Of course one can use a better estimator, e.g., a suitable prior for the multinomial parameters, but getting it really unbiased is not easy.

The above applies to conditional distributions as well. In addition, everything is relative to binning (or kernelization), so you actually have a kind of differential entropy.

— scellus
fuente

Debemos tener cuidado con lo que nos referimos como la entropía empírica aquí. Tenga en cuenta que el estimador del complemento siempre tiene un sesgo bajo para todos los tamaños de muestra, aunque el sesgo disminuirá a medida que aumente el tamaño de la muestra. No solo es difícil obtener estimadores imparciales para la entropía, sino que es imposible en el caso general. Ha habido una investigación bastante intensa en esta área durante los últimos años, particularmente en la literatura de neurociencia. Existen muchos resultados negativos, de hecho.

— cardenal