Problemas relacionados con la entropía

Durante mucho tiempo me he enfrentado con la confusión con respecto a la entropía y estaría obligado si las siguientes respuestas se responden en una jerga menos técnica. Siguiendo el enlace Diferentes tipos de entropía plantea las siguientes preguntas

1. Entropía: se desea que la entropía del sistema se maximice. Maximizar la entropía significa que ningún símbolo es mejor que los demás o no sabemos cuál sería el próximo símbolo / resultado. Sin embargo, la fórmula establece un signo negativo antes de la suma de los logaritmos de probabilidad. ¡Por lo tanto, significa que estamos maximizando un valor negativo! Entonces, si se cuantifica una señal sin procesar original y se calcula la entropía de la información cuantificada y se determina que es menor que la entropía original, implicaría la pérdida de información. Entonces, ¿por qué queremos maximizar la entropía, ya que significaría que estamos maximizando la incertidumbre del siguiente símbolo, mientras que queremos estar seguros de cuál sería la próxima aparición del símbolo?
2. ¿Cuáles son las diferencias entre la entropía de Shannon, la entropía topológica y la entropía fuente?
3. ¿Cuál es exactamente el significado de la complejidad de Kolgomorov o la entropía de Kolgomorov? ¿Cómo se relaciona con la entropía de Shannon?
4. ¿Qué información transmite la información mutua entre dos vectores?

Trataré de abordar las preguntas 1 y 4.

1) Entropía: se desea maximizar la entropía del sistema. Maximizar la entropía significa que ningún símbolo es mejor que los demás o no sabemos cuál sería el próximo símbolo / resultado. Sin embargo, la fórmula establece un signo negativo antes de la suma de los logaritmos de probabilidad. ¡Por lo tanto, significa que estamos maximizando un valor negativo!

No, los valores de los logaritmos son negativos, por lo que el signo negativo los hace positivos. Todas las probabilidades son un número real de 0 a 1, inclusive. El registro de 1 es cero, y el registro de cualquier cosa menor que 1 es negativo. Esto puede parecer problemático ya que el registro de 0 es , pero realmente estamos tratando de maximizar el valor esperado de estos registros, por lo que cuando multiplicamos por la probabilidad en sí, el valor completo se aproxima a 0, no a . La entropía alcanza su punto máximo cuando la probabilidad es .$-\infty$$\infty$$1/2$

Entonces, ¿por qué queremos maximizar la entropía, ya que significaría que estamos maximizando la incertidumbre del siguiente símbolo, mientras que queremos estar seguros de cuál sería la próxima aparición del símbolo?

No, al comunicar información, NO queremos estar seguros de cuál será el próximo símbolo. Si estamos seguros, ¿qué información se obtiene al recibirla? Ninguna. Es solo a través de la incertidumbre sobre lo que enviará el transmisor que podemos recibir cualquier información.

4) ¿Qué información transmite la información mutua entre dos vectores?

Cuando hay información mutua entre dos vectores, saber algo sobre uno te dice algo sobre el otro. Matemáticamente, esto equivale a lo siguiente: el conocimiento de un vector afecta las probabilidades del otro vector. Si fueran independientes, este no sería el caso.

Un ejemplo de información mutua son los walkie-talkies digitales. Un vector es el flujo de bits que envía el primer walkie-talkie. El segundo vector es la señal que recibe el segundo walkie-talkie. Los dos están obviamente relacionados, pero debido al ruido y las condiciones desconocidas del canal, el segundo walkie-talkie no puede saber con certeza lo que envió el primero. Puede hacer algunas conjeturas realmente buenas basadas en la señal, pero no puede estar seguro.