¿Cuál es la función de densidad de probabilidad de entropía máxima para una variable continua positiva de media dada y desviación estándar?

13

¿Cuál es la distribución máxima de entropía para una variable continua positiva, dados sus primeros y segundos momentos?

Por ejemplo, una distribución gaussiana es la distribución de entropía máxima para una variable ilimitada, dada su media y desviación estándar, y una distribución Gamma es la distribución de entropía máxima para una variable positiva, dado su valor medio y el valor medio de su logaritmo.

— llamar
fuente

13

Uno puede simplemente usar el teorema de Boltzmann que se encuentra en el mismo artículo de Wikipedia al que señala .

Tenga en cuenta que especificar la media y la varianza es equivalente a especificar los dos primeros momentos crudos: cada uno determina el otro (en realidad no es necesario invocar esto, ya que podemos aplicar el teorema directamente a la media y la varianza, es un poco más simple de esta manera )

El teorema establece que la densidad debe ser de la forma:

F (X) = C Exp (λ_{1} X + λ_{2} X^{2}) para todos X \geq 0 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

La integrabilidad sobre la línea real positiva restringirá que sea , y creo que impone algunas restricciones en las relaciones entre el $\lambda_2$ $\leq 0$ $\lambda$ s (que presumiblemente se satisfarán automáticamente al comenzar desde la media y la varianza especificadas en lugar de los momentos brutos).

Para mi sorpresa (ya que no lo hubiera esperado cuando comencé esta respuesta), esto parece dejarnos con una distribución normal truncada.

De hecho, no creo que haya usado este teorema antes, por lo que serían bienvenidas las críticas o sugerencias útiles sobre cualquier cosa que no haya considerado o dejado fuera.

— Glen_b -Reinstate a Monica
fuente

+1 gracias. Parece bien Cuando leí el artículo de Wikipedia, parece haber pasado por alto el hecho de que el teorema de Boltzmann se aplica a todos los intervalos cerrados. Supuse que solo se aplicaba a las variables que iban de

a

.

- \infty

$-\infty$

\infty

$\infty$

— Becko

Por alguna razón, la medida de base uniforme y la distribución normal truncada resultante no me convencen completamente: como enfatiza Fred Schoen, para encontrar la entropía máxima (relativa) en el caso continuo necesitamos una medida de base o una distribución de probabilidad de referencia. Dado que la variable continua

en cuestión es positiva, podría ser una variable de escala, y una medida base proporcional a

se recomienda por varias razones (por ejemplo, invariancia grupal; vea el libro de Jaynes o el de Jeffreys).

x

$x$

1 / x

$1/x$

— pglpm

Con esta medida base, la distribución resultante es proporcional a

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

7

Quiero hacer que la respuesta de @ Glen_b sea más explícita, aquí hay una respuesta adicional solo porque no cabe como un comentario.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$ For the unbounded variable, you can explicitly solve for the Lagrange multipliers

λ_{1}

$\lambda_1$ and

λ_{2}

$\lambda_2$ in terms of the constraint values (

a_{1}, a_{2}

$a_1, a_2$ in the Wikipedia article). With

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$ , you then get

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$ , so the standard Gaussian

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$ .

For the bounded variable $x>x_{min}$ , I (and mathematica) cannot solve for $\lambda_{1,2}$ explicitly anymore because of the error function term that appears when computing the partition function ( $1/c$ in wikipedia). This means that that the $\mu$ and $\sigma^2$ parameters of the truncated Gaussian are not the mean and variance of the continuous variable you started with. It can even happen that for $x_{min}=0$ , the mode of the Gaussian is negative! Of course the numbers all agree again when you take $x_{min} \to -\infty$ .

If you have concrete values for $a_1, a_2$ , you can still solve for $\lambda_{1,2}$ numerically and plug in the solutions into the general equation and you are done! The values of $\lambda_{1,2}$ from the unbounded case may be a good starting point for the numerical solver.

This question is a duplicate of /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

— Fred Schoen
fuente