Relación entre entropía y SNR

En general, cualquier forma de enropia se define como incertidumbre o aleatoriedad. En un entorno ruidoso, con un aumento del ruido, creo que la entropía aumenta, ya que no estamos seguros del contenido de la información de la señal deseada. ¿Cuál es la relación entre entropía y SNR? Con el aumento de la relación señal a ruido, la potencia del ruido disminuye, pero esto no implica que aumente el contenido de información de la señal. El contenido de la información puede permanecer igual, ¿entonces eso significa que la entropía no se ve afectada?

Cuando dice que el "contenido de la información puede permanecer igual", ¿quiere decir la información en la señal total o la información de la señal deseada? Esperemos que esto responda a ambos casos. Sé que la entropía de Shannon es mucho mejor que Kolmogorov, así que lo usaré, pero espero que la lógica se traduzca.

Digamos que es el total de la señal ( ), compuesto por la suma de la señal deseada y su componente de ruido . Vamos llamada entropía . Como dijiste, el ruido agrega entropía a un sistema al aumentar su complejidad. Sin embargo, no es necesariamente solo porque estamos más inseguros sobre el contenido de información de la señal, sino porque hay más incertidumbre en la señal en general. Si el tipo SNR mide qué tan seguros estamos de lo que es , entonces el tipo mide qué tan bien podemos predecir futuros estados de basados ​​en el estado actual de$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$$X$. La entropía tiene que ver con cuán compleja es la señal completa, independientemente de la composición del ruido frente al no ruido.

Si aumenta la SNR eliminando el ruido (atenuando ), disminuye la complejidad total de la señal y, por lo tanto, su entropía. No se ha perdido ninguna información transportada por , sólo información (presumiblemente sin sentido) llevado por . Si es ruido aleatorio, entonces obviamente no contiene información significativa, pero se necesita una cierta cantidad de información para describir el estado de , determinado por el número de estados en los que puede estar N y la probabilidad de que esté en cada uno de esos estados. Esa es la entropía.$N$$X$$S$$N$$N$$N$

Podemos observar dos distribuciones gaussianas con diferentes variaciones, digamos que una tiene una varianza de y la otra tiene una varianza de . Simplemente mirando la ecuación para una distribución gaussiana, vemos que la distribución tiene una probabilidad máxima que es solo el valor de la probabilidad de la distribución . Por el contrario, esto significa que hay una mayor probabilidad de que la distribución tome valores distintos a la media, o que haya más certeza de que la distribución tomará valores cerca de la media. Entonces, la distribución tiene una entropía menor que la$1$$100$$Var=100$$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$ distribución.

Establecimos que una mayor varianza implica una mayor entropía. En cuanto a la propagación de errores, también es cierto que (igual para , independientes ). Si , entonces para la entropía , . Dado que es (indirectamente) una función de varianza, podemos evitar un poco las cosas para decir . Para simplificar, decimos que y son independientes, entonces . La SNR mejorada a menudo significa atenuar la potencia del ruido. Esta nueva señal con una SNR más alta será , para$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$$H$$H(Var[X]) = H(Var[S+N])$$S$$N$$H(Var[X]) = H(Var[S] + Var[N])$$X = S + (\frac {1} {k})N$$k>1$ . La entropía se convierte en . es mayor que , por lo que disminuirá cuando N se atenúe. Si disminuye, también lo hace y, por lo tanto, , lo que resulta en una disminución de .$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

No muy conciso, lo siento. En resumen, 's entropía disminuye si aumenta la SNR, pero no tienes nada hecho a ' s información. No puedo encontrar las fuentes en este momento, pero hay un método para calcular la SNR y la información mutua (una medida bivariada similar a la entropía) entre sí. Quizás la conclusión principal es que la SNR y la entropía no miden lo mismo.$X$$S$

Aquí hay una cita [1, p. 186]para comenzar, OP o Googler:

Muy aproximadamente, $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

Aquí es la entropía negativa de la distribución posterior de los parámetros de su modelo de señal. ¡Buena suerte!$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006