¿Qué distribución tiene la entropía máxima para una desviación absoluta media conocida?

Estaba leyendo la discusión en Hacker News sobre el uso de la desviación estándar en lugar de otras métricas, como la desviación media absoluta. Entonces, si siguiéramos el principio de máxima entropía, ¿con qué tipo de distribución usaríamos si solo supiéramos la media de la distribución y la desviación absoluta media?

¿O tiene más sentido usar la mediana y la desviación absoluta media de la mediana?

Encontré un Principio de entropía máxima en papel con medidas de desviación general de Grechuk, Molyboha y Zabarankin que parece tener la información que tengo curiosidad, pero me está tomando un tiempo descifrarla.

distributions maximum-entropy mad

— Dietrich Epp
fuente

Interesante pregunta; bienvenido a Cross Validated!

— Nick Stauner

Estos sabios caballeros, Kotz, S., Kozubowski, TJ y Podgorski, K. (2001). La distribución y generalizaciones de Laplace: una nueva visita con aplicaciones a comunicaciones, economía, ingeniería y finanzas (No. 183). Saltador.

desafiarnos con un ejercicio:

ingrese la descripción de la imagen aquí

La prueba puede seguir la prueba teórica de la información de que lo normal es la entropía máxima para la media y la varianza. Específicamente: Sea la densidad de Laplace anterior, y sea cualquier otra densidad, pero que tenga la misma media y la desviación absoluta media. Esto significa que se cumple la siguiente igualdad: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (x) | x - c_{1} | d x = c_{2} = \int f (x) | x - c_{1} | d x = E_{f} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ Ahora considere la divergencia Kullback-Leibler de las dos densidades:

0 \leq D_{K L} (g | | f) = \int g (x) \ln (\frac{g (x)}{f (x)}) d x = \int g (x) \ln g (x) d x - \int g (x) \ln f (x) d x [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

La primera integral es el negativo de la entropía (diferencial) de , denotarlo . La segunda integral es (escribir explícitamente el pdf laplaciano) $g$ $-h(g)$

\int g (x) \ln [f (x)] d x = \int g (x) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | x - c_{1} |}] d x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (x) d x - \frac{1}{c_{2}} \int g (x) | x - c_{1} | d x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ La primera integral se integra a la unidad, y usando también la ecuación. obtenemos

[1]

$[1]$

\int g (x) \ln [f (x)] d x = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (x) | x - c_{1} | d x = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ Pero esto es lo negativo de la entropía diferencial del laplaciano, denotándolo .

- h (f)

$-h(f)$

Insertar estos resultados en la ecuación. tenemos Dado que fue arbitrario, esto prueba que el por encima de la densidad laplaciana es la entropía máxima entre todas las distribuciones con las prescripciones anteriores. $[2]$

0 \leq D (g | | f) = - h (g) - (- h (f)) \Rightarrow h (g) \leq h (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Alecos Papadopoulos
fuente

¡Una distribución tan simple y un buen artículo también! Sospeché que la distribución sería suave, excepto en 0.

— Dietrich Epp

Gracias. En algún momento "lo mismo va con lo mismo", por lo tanto, dado que la distribución de Laplace involucra el valor absoluto, era un sospechoso principal.

— Alecos Papadopoulos