Supongo que su pregunta es más sobre el "significado" de ese logaritmo y por qué cada componente contribuye al significado general de la fórmula, en lugar del mero formalismo que muestra la coherencia de la definición a ciertos requisitos.
p(x)−log(p(x))
- p(x)
- −log(p(x))
p(x)−log(p(x))
De ahora en adelante, discutiré cómo la GENERALIDAD afecta la fórmula de entropía final.
log2(x)=number_of_bits_to_encode_the_messages
Ahora, siéntese, relájese y observe cuán bellamente funciona la Entropía de Shannon: se basa en la suposición (razonable) de que los mensajes que son más GENERALES son, en consecuencia, más FRECUENTES.
Por ejemplo, diré que está lloviendo si es una lluvia promedio, fuerte o muy fuerte. Por lo tanto, propuso codificar la GENERALIDAD de los mensajes en función de cuán FRECUENTES son ... y ahí está:
log2N=−log21/N=−log2P
Nx
La ecuación se puede interpretar como: los mensajes raros tendrán una codificación más larga porque son menos generales, por lo que necesitan más bits para codificarse y son menos informativos. Por lo tanto, tener mensajes más específicos y raros contribuirá más a la entropía que tener muchos mensajes generales y frecuentes.
p(x)−log(p(x))
La mayor entropía es cuando tenemos un sistema con muchos mensajes raros y específicos. La entropía más baja con mensajes frecuentes y generales. En el medio, tenemos un espectro de sistemas equivalentes de entropía que pueden tener mensajes raros y generales o mensajes frecuentes pero específicos.