Buena introducción a diferentes tipos de entropía.

18

Estoy buscando un libro o un recurso en línea que explique diferentes tipos de entropía, como Sample Entropy y Shannon Entropy, y sus ventajas y desventajas. ¿Alguien me puede apuntar en la dirección correcta?

references entropy

— cristiano
fuente

9

Cover y el libro Thomas of Elements Theory Theory es una buena fuente sobre la entropía y sus aplicaciones, aunque no sé si aborda exactamente los problemas que tiene en mente.

— Mark Meckes
fuente

44

También el documento "Desigualdades teóricas de la información" de Dembo Cover y Thomas revela muchos aspectos profundos

— robin girard

1

Aún así, ninguno de esos libros afirma que hay más de una entropía.

5

Estas notas de clase sobre teoría de la información de O. Johnson contienen una buena introducción a los diferentes tipos de entropía.

— Alekk
fuente

4

Si está interesado en la estadística matemática sobre la entropía, puede consultar este libro

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

¡está disponible gratuitamente!

— robin girard
fuente

2

La entropía es solo una (como concepto): la cantidad de información necesaria para describir algún sistema; solo hay muchas generalizaciones. La entropía de muestra es solo un descriptor similar a la entropía utilizado en el análisis de la frecuencia cardíaca.

Lo sé, sin embargo, eso no me ayuda a decidir si usar la entropía de muestra o la entropía de Shannon o algún otro tipo de entropía es apropiado para los datos con los que estoy trabajando.

— Christian

2

Lo que escribí en mi publicación es que para un cierto tipo de datos / proceso / sistema solo hay una verdadera definición de entropía. La entropía de muestra no es una medida de entropía, es solo una estadística con un nombre confuso. Haga una pregunta donde defina los datos para los que desea calcular la entropía y obtendrá la fórmula.

No me interesa la verdad, sino obtener una función que funcione. Soy bioinformático y me enseñaron a no buscar la verdad dogmática, sino a buscar estadísticas que funcionen. No creo que haya trabajo realizado con el tipo de datos con los que quiero trabajar que especifique qué entropía funciona mejor. Ese es el punto por el que quiero trabajar con los datos.

— Christian

2

Correcto, pero esto no es una discusión sobre verdades dogmáticas sino sobre palabras. Usted ha preguntado sobre la entropía, así que le respondí sobre la entropía. Porque ahora veo que realmente necesita una respuesta sobre los descriptores de series de tiempo, escriba una pregunta sobre los descriptores de series de tiempo, solo así obtendrá una respuesta útil.

2

Jaynes muestra cómo derivar la entropía de Shannon de los principios básicos de su libro .

Una idea es que si aproximas por , la entropía es la reescritura de la siguiente cantidad $n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Yaroslav Bulatov
fuente

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

La teoría del juego, la máxima entropía, la mínima discrepancia y la sólida teoría de decisión bayesiana de Grünwald y Dawid discuten las generalizaciones de la noción tradicional de entropía. Dada una pérdida, su función de entropía asociada es el mapeo de una distribución a la pérdida esperada mínima alcanzable para esa distribución. La función de entropía habitual es la entropía generalizada asociada con la pérdida de registro. Otras opciones de pérdidas producen entropía diferente, como la entropía de Rényi.

— Mark Reid
fuente

1

Entonces, sigma es la entropía de N (0, sigma) correspondiente al error al cuadrado, y min (p, 1-p) es la entropía de Bernoulli (p) correspondiente a la pérdida de predicción 0,1? Parece una gran generalización!

— Yaroslav Bulatov

Si. La entropía para la pérdida cuadrada es constante y la entropía para la pérdida 0-1 es min (p, 1-p). Lo que también es interesante es que también tienen fuertes correspondencias con las divergencias. La pérdida cuadrada a la divergencia de Hellinger y la pérdida 0-1 a la divergencia variacional. Como las entropías definidas de esta manera son necesariamente funciones cóncavas y resulta la divergencia f construida usando f (p) = -entropía (p). Bob Williamson y yo hemos explorado algo de esto en nuestro artículo: arxiv.org/abs/0901.0356 . Es algo divertido.

— Mark Reid

1

Aquí hay algo interesante que encontré sobre las divergencias recientemente: cada paso de Propagación de creencias se puede ver como una proyección de Bregman ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov