Resultados de codificación de canal utilizando la complejidad de Kolmogorov

12

Por lo general, la entropía de Shannon se usa para probar los resultados de la codificación del canal. Incluso para los resultados de separación del canal fuente se utiliza la entropía de shannon. Dada la equivalencia entre las nociones de información de Shannon (global) frente a Kolmogorov (local), ¿ha habido un estudio para utilizar la complejidad de Kolmogorov para estos resultados (o al menos para reemplazar la parte de codificación de fuente en los resultados de separación del canal de fuente)?

it.information-theory kolmogorov-complexity shannon-entropy

— vs
fuente

¿Has echado un vistazo a la tercera edición del libro Li & Vitanyi ? Si no me equivoco, el capítulo 8. del libro se agregó en la última edición y contiene un capítulo sobre Teoría de la información. Presenta entropía de Shannon, información mutua, distorsión de velocidad, etc., analizada en el sentido de la complejidad de Kolmogorov.

— Juho

Hola eso es cierto ¡Pero no hay aplicación para el ruidoso teorema de codificación de Shannon!

— vs

8

Para la capacidad del canal, parece difícil reemplazar la entropía de Shannon por la complejidad de Kolmogorov. La definición de capacidad de canal no contiene ninguna mención de entropía. El uso de la entropía de Shannon proporciona la fórmula correcta para la capacidad del canal (este es el teorema de Shannon). Si reemplaza la fórmula con la entropía de Shannon por una fórmula con complejidad de Kolmogorov, presumiblemente sería una fórmula diferente, por lo que sería la respuesta incorrecta .

$K$ $C$ $K/C$

La parte difícil del teorema de separación del canal de origen muestra que no se puede hacer mejor que el método obvio (descrito en el párrafo anterior) de primero comprimir y luego codificar. No sé si alguien ha demostrado esto por la complejidad de Kolmogorov y la capacidad del canal, pero es una pregunta razonable para investigar.

— Peter Shor
fuente

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

No estoy seguro de lo que está hablando cuando usa los calificadores locales / globales sobre la entropía de Shannon y la complejidad de Kolmogorov.

Así que corrígeme si me equivoco.

La entropía de Shannon es computable. La complejidad de Kolmogorov no lo es. Por lo tanto, no describen el mismo problema.

Se podía ver la entropía de Shannon como un límite superior a la complejidad de Kolmogrov.

— Phil
fuente

¿Cómo es la entropía de Shannon un límite superior? Creo que está comprobado que ambos son iguales.

— T ....