Variantes de la complejidad de Kolmogorov eficientemente computables

28

La complejidad del prefijo de Kolmogorov (es decir, $K(x)$ es el tamaño del programa mínimo de auto delimitación que genera $x$ ) tiene varias características agradables:

Corresponde a una intuición de dar cadenas con patrones o estructura de menor complejidad que las cadenas sin ellas.
Que nos permite definir la complejidad condicional $K(x|y)$ , o incluso mejor $K(x|O)$ por algún oráculo $O$ .
Es subaditivo $K(x,y) \leq K(x) + K(y)$ .

Sin embargo, tiene una desventaja terrible: devolver $K(x)$ dado $x$ es indecidible.

Me he preguntado si hay una variante de la complejidad de Kolmogorov $K'(x)$ usando un modelo restringido de cómputo (ya sea usando lenguajes más débiles que TMs o usando TM acotada con recursos) que conserva las características (1) y (2) (característica ( 3) es una bonificación, pero no una obligación) mientras es eficientemente computable?

La motivación para esta pregunta es para su uso en estudios de simulación de varios modelos de evolución de juguetes. Por lo tanto, se prefiere una respuesta que se haya utilizado como una 'aproximación aproximada' para la complejidad de Kolmogorov en el trabajo numérico anterior. Sin embargo, el objetivo no es ser completamente experimental, por lo que se prefiere un lenguaje de descripción / modelo de cómputo relativamente simple / limpio para $K'$ , de modo que sea posible probar algunos teoremas razonables sobre cuán drásticamente $K'$ difiere de $K$ y sobre qué tipo de cuerdas.

Relaciona preguntas

Complejidad de Kolmogorov con lenguajes de descripción débiles

¿Existe una noción sensata de un algoritmo de aproximación para un problema indecidible?

it.information-theory kolmogorov-complexity formal-modeling

— Artem Kaznatcheev
fuente

10

Gzip Cilibrasi y Vitanyi tienen un artículo muy bueno en el que usan gzip como una aproximación de la complejidad de Kolmogorov para hacer clustering. Agrupación por compresión

— Chad Brewbaker
fuente

1

¿Cómo definen la complejidad condicional?

— Artem Kaznatcheev

1

Sean A y B dos documentos, y AB sean los dos concatenados. Observan la relación de TAMAÑO (gzip (A) + gzip (B)) a TAMAÑO (gzip (AB)).

— Chad Brewbaker

1

Se debe tener en cuenta que el uso de gzip (y similares) tiene inconvenientes para aproximar la complejidad de Kolmogorov: bactra.org/notebooks/cep-gzip.html . Eso no dice que no sea útil para agrupar conjuntos de datos de la vida real, pero sí dice que su utilidad para los conjuntos de datos de la vida real nos dice algo acerca de cómo esos conjuntos de datos son diferentes de, por ejemplo, la salida de un generador de números pseudoaleatorios ...

— Joshua Grochow

3

Pensé más en mi pregunta y llegué a una posible solución. Tiene dos limitaciones, se define solo en cadenas de longitud (aunque hablaré más sobre esto) y no habla sobre máquinas Turing universales, sino que sigue una pregunta anterior $n = 2^m$ y usa un modelo alternativo de computación.

Básicamente, podemos interpretar una cadena con como una función . Entonces, nuestra medida de complejidad es el tamaño (número de aristas) del diagrama de decisión binario ordenado reducido único (ROBDD; con el orden estándar fijo) que representa . Esto satisface la condición [1]. Además, dado que los ROBDD se pueden calcular en tiempo polinomial en $x$ $|x| = 2^m$ $f_x: \{0,1\}^m \rightarrow \{0,1\}$ $K'(x)$ $f_x$ $2^m$ , tenemos una medida eficiente.

Para satisfacer la condición [2], tenemos que modificar los BDD estándar permitiendo un tipo especial en el nodo. Por lo general, los nodos se etiquetan por los índices , incluiremos un nodo de oráculo especial. Para donde $i \in \{1,...,m\}$ $K(x|y)$ $|y| = 2^m$ permitiremos nodos especiales en los BDD de la siguiente manera:

Si estamos ejecutando un BDD en la entrada ( ), entonces un nodo normal etiquetado por simplemente nos envía por el borde etiquetado $a$ $|a| = m$ $i$ $a_i$ . Un nodo de Oracle en su lugar enviar hacia abajo de un borde marcado . Por lo tanto, y con alta probabilidad para un elegido uniformemente al azar. $f_y(a)$ $K'(x|x) = 2$ $K'(x|y) \approx K(x)$ $y$

[Nota: no está claro si la complejidad condicional aún se puede calcular de manera eficiente :(]

Convenientemente, también tenemos subaditividad ya que para construir un OBDD para $x.y$ podemos tener una consulta para el primer bit y en ir al ROBDD para y en al ROBDD para . Por lo tanto, tenemos . $0$ $x$ $1$ $y$ $K'(x.y) \leq K'(x) + K'(y)$

Al costo potencial de la subaditividad podríamos definir para cualquier longitud simplemente tomando trozos de potencia de dos y sumando sus complejidades. Por ejemplo para y $K'(x)$ $x$ $|x| = 2^m$ con podemos definir $|y| = 2^l$ $m > l$ $K'(x.y) = K'(x) + K'(y)$ .

Desafortunadamente, también hay algunas limitaciones con mi enfoque. No podemos ir mucho más allá de los OBDD, si consideramos árboles de decisión mínimos o solo BDD, nos encontraremos con los problemas de intractabilidad abordados en esta respuesta . Incluso para el ordenamiento variable de OBDD parece haber resultados de intractabilidad . Por lo tanto, parece que los OBDD son el límite de este enfoque de complejidad no tan similar a Kolmogorov estándar.

— Artem Kaznatcheev
fuente

2

No soy un experto, pero si necesita una medida de complejidad práctica para las cadenas, puede echar un vistazo a la medida de complejidad T de Titchener .

Consulte el sitio web de Titchener para una introducción rápida; Sus documentos se pueden descargar en formato pdf .

Resumen : se presenta una nueva medida de la complejidad de la cadena para cadenas finitas basada en un proceso de producción de cadenas jerárquicas recursivas específicas . Del límite máximo deducimos una relación entre la complejidad y el contenido total de la información. ..articulo completo...

También encontré algunos documentos sobre implementaciones prácticas (ver por ejemplo " Un algoritmo de descomposición T rápida ")

— Marzio De Biasi
fuente

2

Básicamente, casi cualquier método de aprendizaje automático o compresión es una aproximación a la complejidad de Kolmogorov:

$p(x)$ $- \log p(x)$
$n$ $K(x) \leq n + s_C$ $s_C$ $x$

Por lo tanto, puede buscar patrones con cualquier compresor o distribución de probabilidad y cuanto mejor compriman sus datos, mejor será su límite superior para K (x). Solo asegúrese de agregar el tamaño del compresor en sí al tamaño de los datos comprimidos para obtener la estimación.

$K(x)$ .

$K(x)$ $K$

También puede usar un límite de tiempo para definir su clase de modelo, lo que lo lleva a la respuesta de Suresh. Básicamente, si asume que su fuente de datos tiene una complejidad de tiempo polinómica, y prueba todas las máquinas polinómicas de Turing para comprimirla, puede estar bastante seguro de que ha estimado con precisión la complejidad de Kolmogorov. Esto aún puede no ser tan práctico, pero para límites de tiempo más bajos, es posible que pueda calcular la mezcla bayesiana completa, de una buena aproximación a la misma.

Para detalles técnicos vea este documento . Descargo de responsabilidad: soy uno de los autores.

$K(x)$ $K(x)$

— Peter
fuente

-1

Está buscando la complejidad de Kolmogorov limitada por los recursos. Puede comenzar con este documento y ramificarse.

— Suresh Venkat
fuente

2

gracias por el enlace al documento, menciono la complejidad limitada por los recursos en la pregunta, pero realmente hay interés en las medidas que son eficientemente computables. Parece que el documento muestra que las 'cadenas aleatorias' para estos modelos corresponden a conjuntos de alta complejidad. Esto sugiere que decidir la complejidad de una cadena en estos modelos no es eficientemente computable, ¿no?

— Artem Kaznatcheev