Valores esperados de la complejidad de Kolmogorov en una muestra aleatoria

La complejidad de Kolmogorov de una cadena no es computable. Sin embargo, en un subconjunto aleatorio de tamaño de cadenas binarias de longitud , el número se espera que tengan menos de complejidad algún entero menor que (en función de , y )? $M$ $n$ $n_{0}$ $n$ $M$ $n$ $n_{0}$

cc.complexity-theory kolmogorov-complexity

— vs
fuente

¿Está utilizando la complejidad de Kolmogorov "estándar" aquí, o la complejidad del prefijo?

— Aubrey da Cunha

En realidad, solo pensaba en la complejidad de Kolmogorov. Estaba adivinando el

2^{n_{o}}

$2^{n_{o}}$ límite que mencionó domotorp cuando consideramos el universo de todas las cadenas. No estaba claro si se puede producir algún resultado 'consistente' para un subconjunto aleatorio arbitrario de tamaño

M

$M$ Sin embargo, ¿la complejidad del prefijo nos llevaría a un punto de vista diferente?

— vs

Ciertamente no cambiaría el orden de magnitud, de hecho, creo que ahora mi respuesta es un límite para ambas versiones.

— domotorp

Para cada

cada

, la probabilidad de que una cadena aleatoria de

bits

tenga una complejidad de Kolmogorov

es mayor que

n

$n$

c

$c$

n

$n$

x

$x$

K (x) \geq n - c

$K(x) \geq n-c$

(con

). Entonces, en una distribución aleatoria decadenas

, debe esperar

1 - \frac{1}{2^{c}}

$1 - \frac{1}{2^c}$

c = n - n_{0}

$c = n-n_0$

M

$M$

cadenas con

... intuitivamente, hay una probabilidad muy alta de elegir una cadena con alta complejidad de Kolmogorov.

\frac{M}{2^{(} n - n_{0})}

$\frac{M}{2^(n-n_0)}$

K (x) < n_{0}

$K(x) \lt n_0$

— Marzio De Biasi

Respuestas:

La complejidad de Kolmogorov solo se determina hasta una constante aditiva, por lo que no es posible dar una respuesta exacta. El límite que describo aquí es aún más débil.

Por supuesto, el número esperado se puede calcular fácilmente una vez que sepamos cuántas de las cadenas tienen una complejidad menor que , así que déjenme responder esto. Por lo general, la primera afirmación sobre la complejidad de Kolmogorov es que este número es como máximo , ya que solo hay muchas cadenas de menor longitud. Por otro lado, si su programa dice "de longitud , tome el número ", entonces obtendrá cadenas de complejidad menores que , donde $2^n$ $n_0$ $2^{n_0}-1$ $n$ $x$ $2^{n_0-K(n)-C}$ $n_0$ es la versión sin prefijo de la complejidad de Kolmogorov de (por lo tanto, a lo sumo, ). Con más detalle, la cadena contiene primero la descripción de la máquina de Turing que tomó la entrada , donde p es la descripción de un programa sin prefijo que genera , genera elnúmero de longitud , que es bits, y luego esto es seguido por . $K(n)$ $n$ $\log n+\log^* n + O(1)$ $px$ $n$ $x$ $n$ $O(1)$ $px$

Probablemente sea posible mejorar estos límites, pero dudo que pueda obtener una respuesta exacta.

— domotorp
fuente

¿Podría explicar un poco sobre la frase 'si su programa dice "de longitud n, tome el número x" "?

— vs

Tienes razón, debería estar libre de prefijos allí, lo corregí.

— domotorp

Se puede dar una respuesta precisa. El número de cadenas de longitud con complejidad (simple) como máximo es , hasta un factor constante. Por lo tanto, cualquier proceso que elija aleatoriamente un subconjunto tendrá, con probabilidad razonable, una fracción de cadenas de complejidad menor que . Para mostrar nuestro reclamo, es suficiente mostrar que el número de cadenas con complejidad $n$ $n_0$ $2^{n_0 - K(n_0|n)}$ $2^{-K(n_0|n) + O(1)}$ $n_0$ igual a también viene dado por . Podemos mostrar el resultado necesario determinando la suma de este valor sobre desde 1 hasta . Para mostrar esto, utilizamos un resultado de aditividad para la complejidad simple (debido a B. Bauwens y A. Shen. Un teorema de aditividad para la complejidad simple de Kolmogorov . Theory of Computing Systems, 52 (2): 297-302, febrero de 2013), $k$ $2^{k - K(k|n)}$ $k$ $n_0$ Aquí denota la complejidad de Kolmogorov sin prefijo. Al elegir , observamos que para cadacadena de bits de complejidad tenemos

C (a, b) = K (una El | C (una, si)) + C (si El | una, C (una, si)) + O (1) .

$C(a,b) = K(a|C(a,b)) + C(b|a,C(a,b)) + O(1).$

K (\cdot)

$K(\cdot)$

a = n

$a = n$

n

$n$

b

$b$

k

$k$

Por lo tanto, para cada

tenemos

. Sea

k = C (si) = C (norte, si) + O (1) = K (norte El | k) + C (si El | norte, k) + O (1) .

$k = C(b) = C(n,b) + O(1) = K(n|k) + C(b|n,k) + O(1).$

b

$b$

C (b | n, k) = k - K (n | k) + O (1)

$C(b|n,k) = k - K(n|k)+O(1)$

. Ahora se puede observar que a lo sumo

tales cadenas

, y cada una de las primeras

lexicográficamentecadenas de longitud

satisfacen

. Así,

de ellos satisfacen

k^{'} = k - K (n | k)

$k' = k - K(n|k)$

O (2^{k^{'}})

$O(2^{k'})$

b

$b$

2^{k^{'}}

$2^{k'}$

n

$n$

C (b | n, k) \leq k^{'} + O (1)

$C(b|n,k) \le k' + O(1)$

Ω (2^{k^{'}})

$\Omega(2^{k'})$

C (b | n, k) = k^{'} + O (1)

$C(b|n,k) = k' + O(1)$

— Bruno Bauwens
fuente