¿Existe una generalización de la teoría de la información a información polinomialmente conocible?

9

Pido disculpas, esta es una pregunta un poco "blanda".

La teoría de la información no tiene un concepto de complejidad computacional. Por ejemplo, una instancia de SAT, o una instancia de SAT más un bit que indica la satisfacción lleva la misma cantidad de información.

¿Hay alguna forma de formalizar el concepto de "polinomialmente conocible"?

Tal marco podría definir, por ejemplo, la noción de polinomio-KL divergencia entre una variable aleatoria X relativa Y como el número de bits necesarios para calcular X en tiempo polinómico dado Y.

Del mismo modo, la entropía de una variable aleatoria X podría definirse como el número de bits necesarios para codificar X de una manera que pueda decodificarse en tiempo polinomial.

¿Se ha estudiado tal generalización? ¿Se puede hacer consistente?

cc.complexity-theory it.information-theory polynomial-time

— Arthur B
fuente

1

¿Has intentado preguntar esto en Cryptography SE crypto.stackexchange.com ?

— Zsbán Ambrus

2

Es posible que las personas criptográficas tengan una respuesta, pero la pregunta es perfectamente sobre el tema aquí, y sospecho que podría tener una mejor oportunidad de obtener una buena respuesta aquí. Solo una nota rápida: no vuelva a publicar la misma pregunta en Crypto.SE; La publicación cruzada en múltiples sitios SE está prohibida por las reglas del sitio.

— DW

9

Si. La complejidad de Kolmogorov limitada en el tiempo es al menos una de esas "generalizaciones" (aunque estrictamente hablando no es una generalización, sino un concepto relacionado). Fijar una máquina universal de Turing . La complejidad de Kolmogorov limitada por el tiempo de una cadena dada una cadena (en relación con ), denotada (el subíndice menudo se suprime) se define como la cadena más corta ( un "programa" para ) tal que y tal que el cálculo de tome como máximo $U$ $t(n)$ $x$ $y$ $U$ $K^t_U(x | y)$ $U$ $p$ $U$ $U(p,y)=x$ $U(p,y)$ $t(|x|)$ hora. Si toma esto como su definición de "información condicional", también puede definir todos los conceptos usuales de la teoría de la información.

Sin embargo, en este entorno limitado en el tiempo, no todos los teoremas habituales de la teoría de la información son conocidos. Por ejemplo, se sabe que la simetría de la información se mantiene para la complejidad habitual de Kolmogorov (sin límite de tiempo), pero no se sabe que se mantenga durante un tiempo limitado. Ver, por ejemplo, el Capítulo 6 de la tesis de Troy Lee .

Si le preocupa que esto se aplique a cadenas en lugar de distribuciones, sugiero leer los siguientes documentos, que dicen que, de hecho, la complejidad de cadenas de Kolmogorov y la entropía de distribuciones de Shannon están muy relacionadas:

Grunwald y Vitanyi. Información de Shannon y la complejidad de Kolmogorov
Martillo, Romashchenko, Shen, Vereshchagin. Desigualdades para la entropía de Shannon y la complejidad de Kolmogorov .

(Por otro lado, hay algunas propiedades que se sabe que no se comparten entre los dos, ver Muchnik & Vereshchagin, Shannon Entropy vs. Kolmogorov Complexity ).

— Joshua Grochow
fuente

Mi principal preocupación sería que el tiempo depende de la máquina Turing. Dado que las máquinas de Turing pueden emularse entre sí con, como máximo, un polinomio de aceleración o deceleración, penalizar la complejidad mediante log (log (t)) parecería hacerlas equivalentes a una constante aditiva. Sin embargo, la complejidad de Levin usa log (t), no estoy seguro de por qué.

— Arthur B

1

@ Arthur B: Entiendo su preocupación, pero probablemente hay varias formas estándar de evitarlo. Por lo general, cuando demuestra una declaración sobre, por ejemplo, la complejidad de Kolmogorov limitada en el tiempo, puede probar una declaración de la forma "para todos los límites de tiempo polinomiales , ...", en cuyo punto cualquier desaceleración / velocidad polinómica -up incurrido al cambiar la máquina universal ya no es relevante, ya que la declaración se aplica en cualquier caso. (No seguí lo que estabas diciendo sobre , pero creo que esa es una forma diferente de tratar de manejar este problema ...)

t (n)

$t(n)$

\log \log t

$\log \log t$

— Joshua Grochow

2

Un problema es que muchos de los teoremas a los que estamos acostumbrados en la teoría de la información no se mantienen en el mundo computacional. Por lo tanto, incluso si formalizamos un análogo computacional de la entropía, la teoría resultante podría no parecerse más a la teoría de la información.

$f$ $H(f(X)) \le H(X)$ $H(f(X)) \le H(X)$

— DW
fuente

Entiendo, me pregunto cuánto se puede recuperar o reparar. En ese caso, podría agregar la restricción de que f es polinomialmente invertible, pero eso se siente ad-hoc

— Arthur B

Siento que la semilla contiene más información que la cadena psuedo-aleatoria generada, ya que podemos calcular la cadena generada a partir de la semilla.

— Kaveh

@Kaveh, si está hablando en un sentido teórico de la información: si el generador pseudoaleatorio es invertible (tal vez no en tiempo polinómico, sino en principio), entonces su entrada y salida tienen la misma cantidad de información, teóricamente información; de lo contrario, si el subjetivo pseudoaleatorio no es invertible, tiene razón.

— DW

0

No conozco un modelo computacional teórico-informativo, pero existen aplicaciones claras de la teoría de la información a la complejidad computacional.

$n \log n$

Más típicamente, los resultados teóricos de la información pueden servir como límites inferiores en la complejidad computacional. Por ejemplo, el resultado "teórico de la información" de Yao sobre la complejidad de la comunicación {1} implica límites computacionales inferiores para determinar si dos conjuntos son iguales. Las aplicaciones más complejas de la complejidad de la comunicación proporcionan compensaciones espacio-temporales para las máquinas Turing {2}.

{1} Yao, Andrew Chi-Chih. "Algunas preguntas de complejidad relacionadas con la computación distributiva (informe preliminar)". Actas del undécimo simposio anual de ACM sobre teoría de la informática. ACM, 1979.

{2} Eyal Kushilevitz: Complejidad de comunicación. Advances in Computers 44: 331-360 (1997).

— Ari Trachtenberg
fuente