Preguntas etiquetadas con information-theory

En general, cualquier forma de enropia se define como incertidumbre o aleatoriedad. En un entorno ruidoso, con un aumento del ruido, creo que la entropía aumenta, ya que no estamos seguros del contenido de la información de la señal deseada. ¿Cuál es la relación entre entropía y SNR? Con el …

13 noise  signal-detection  snr  information-theory 

Estoy confundido al entender conceptos básicos de comunicación a través de canales AWGN. Sé que la capacidad de un canal AWGN de ​​tiempo discreto es: C=12log2(1+SN)C=12log2⁡(1+SN)C=\frac{1}{2}\log_2\left(1+\frac{S}{N}\right) y se logra cuando la señal de entrada tiene distribución gaussiana. Pero, ¿qué significa que la señal de entrada es gaussiana? ¿Significa que la …

9 digital-communications  gaussian  information-theory 

Más allá de la ecuación en bruto para calcular la información mutua, ¿qué significa en términos físicos? Por ejemplo: de la teoría de la información, sabemos que la entropía es el esquema de compresión sin pérdidas más pequeño que podemos usar en un alfabeto con una distribución de probabilidad específica. …

8 information-theory 

Un cliente intentaba enviarme 250 GB de archivos. Después de intentar varias formas de compartir los datos, me envió una carpeta comprimida de solo 4 GB de tamaño. Eso me suena a demasiada compresión: no creo que cuando haya comprimido cosas haya reducido más del 20% del tamaño. ¿Cuáles son …

8 compression  information-theory 

Hasta hoy sabía que un bit es una variable o un espacio en la memoria que puede contener un valor de Uno (alto) o Cero (bajo). Este es el concepto que aprendí al estudiar programación de computadoras, microprocesador o bus de datos, etc. Pero después de comenzar el curso sobre …

7 information-theory 

Durante mucho tiempo me he enfrentado con la confusión con respecto a la entropía y estaría obligado si las siguientes respuestas se responden en una jerga menos técnica. Siguiendo el enlace Diferentes tipos de entropía plantea las siguientes preguntas Entropía: se desea que la entropía del sistema se maximice. Maximizar …

7 reference-request  information-theory