Ordenando con un promedio de

¿Existe un algoritmo de clasificación basado en la comparación que utiliza un promedio de $\mathrm{lg}(n!)+o(n)$ comparaciones?

La existencia de un algoritmo de comparación peor de los casos $\mathrm{lg}(n!)+o(n)$ es un problema abierto, pero el caso promedio es suficiente para un algoritmo aleatorio con comparaciones esperadas de $\mathrm{lg}(n!)+o(n)$ para cada entrada . La importancia de $\mathrm{lg}(n!)+o(n)$ es que es $o(n)$ comparaciones de óptimo, desperdiciando un promedio de solo $o(1)$ comparaciones por elemento.

Puesto que ya tienen un algoritmo tal, estoy incluyendo como una respuesta (utilizando Q / A formato ), pero celebro respuestas adicionales, incluidos otros algoritmos, si un algoritmo ya era conocido, mejorando $o(n)$ , y del peor caso $\mathrm{lg}(n!)+o(n)$ .

Trabajo previo: la
ordenación por fusión utiliza comparaciones (incluso en el peor de los casos). La ordenación por inserción de fusión (también conocida como ordenación Ford – Johnson) también usa comparaciones pero con una constante mucho menor en . Complejidad promedio mejorada para la clasificación basada en la comparación (por Kazuo Iwama y Junichi Teruyama): su algoritmo de inserción (1,2) se asemeja a una parte de mi respuesta a continuación. $\mathrm{lg}(n!)+ Θ(n)$
$\mathrm{lg}(n!)+ Θ(n)$ $Θ(n)$

cc.complexity-theory ds.algorithms sorting

— Dmytro Taranovsky
fuente

Esta pregunta se superpone con la clasificación de comparación aleatoria óptima , pero dado el énfasis diferente (comportamiento asintótico específico aquí - versus estado general de conocimiento, todos los tamaños de entrada y diferencia del peor de los casos allí), decidí usar una nueva pregunta.

— Dmytro Taranovsky

Actualización: amplié esta respuesta en un documento Clasificación con un promedio de comparaciones $\mathrm{lg}(n!)+o(n)$ .

Sí, tal algoritmo existe. Solo probaré el límite , pero bajo un supuesto de aleatorización probable también obtenemos . También describiré un intento para y . $\mathrm{lg}(n!)+o(n)$ $\mathrm{lg}(n!)+O(n^{1-ε})$ $n^{0.5+o(1)}$ $O(n^{0.5-ε})$

Podemos suponer que todos los elementos son distintos, anotándolos si es necesario; el caso promedio usa elementos distintos en orden aleatorio. Podemos calcular el número promedio de comparaciones sumando la pérdida de entropía para cada comparación en relación con el uso de una moneda justa.

El punto de partida es una especie de inserción con una búsqueda binaria para decidir dónde insertar el siguiente elemento en la ordenada subconjunto . Cuando , una inserción utiliza como máximo comparaciones, que (en términos de entropía) es óptima hasta un factor aditivo (y para la complejidad de caso promedio, también funciona). Ahora, cuandono está cerca de una potencia de 2, la inserción de un elemento es subóptima (incluso en el caso promedio e independientemente de cómo equilibremos cada consulta), pero si desperdiciamos comparaciones, podríamos dirigir a una distribución aproximadamente uniforme durante un intervalo de $S$ $(1-ε)2^m ≤ |S| ≤ 2^m-1$ $m$ $O(ε)$ $2^m ≤ |S| ≤ (1+ε) 2^m$ $|S|$ $A$ $o(1)$ $A$ $S$ de longitud cercana a una potencia de 2, obtenemos la óptima deseada.

Logramos esto agregando elementos en lotes y, a veces, comparando eficientemente los elementos del lote entre sí, de modo que el intervalo de correspondiente a un elemento disminuye de manera casi aleatoria (y con la distribución de probabilidad de dentro del intervalo casi uniforme), y cuando la longitud del intervalo es lo suficientemente cerca de una potencia de 2, haciendo la búsqueda binaria para insertar . $S$ $A$ $A$ $A$

Construcciones comunes

Mantendremos un subconjunto de elementos ordenados, y para cada elemento no ordenado , realizaremos un seguimiento del intervalo mínimo de donde se sabe que se encuentra es la longitud de ; es por la identidad de los intervalos. $S$ $A$ $I_A$ $S$ $A$ $|I_A|$ $I_A$ $I_A=I_B$

Sea be: Compare con , y luego (en orden aleatorio) compare y con los elementos correspondientes de hasta que sus intervalos sean disjuntos (o tengan una longitud 1). El elemento de se elige (de manera consistente) para hacer que las probabilidades de comparación sean lo más cercanas posible a 1/2, suponiendo que cuando se llama , se distribuye uniformemente en . Debido a la desunión al final, conserva el supuesto de uniformidad. $\mathrm{Compare}(A,B)$ $A$ $B$ $A$ $B$ $S$ $S$ $\mathrm{Compare}$ $(A,B)$ $I_A⨯I_B$ $\mathrm{Compare}$

Las siguientes secciones se pueden leer independientemente una de la otra.

A algoritmo $\mathrm{lg}(n!)+o(n)$

Dado: una lista ordenada , y un lote de elementos sin clasificar; ; los elementos sin clasificar son al azar con respecto a . $S$ $m$ $m∈ω(1)∩o(|S|)$ $S$

Repita (1) - (3) mientras sea posible:
1. Elija dos elementos y del lote con (cualquier opción funcionará). 2. Ejecute . 3. Siestá lo suficientemente cerca de una potencia de 2, ^{(nota 1)} eliminar del lote (sin olvidar ); y hacerlo de manera similar con . Finalmente: inserte todos los elementos en y complete la ordenación. $A$ $B$ $I_A=I_B$
$\mathrm{Compare}(A,B)$
$|I_A|$ $A$ $I_A$ $B$
$S$

Nota 1: para "lo suficientemente cerca", cualquier error relativo (en función de ) funciona siempre que los elementos se eliminen en el paso (4) (posible mediante la nota 2). Bajo un supuesto de aleatorización conjeturada, el uso de error relativo captura elementos , lo que permite a algoritmo de clasificación de comparación promedio. $o(1)$ $m$ $m-o(m)$ $c \log \log m / \log m$ $m(1-\log^{-Θ(c)}m)$ $\mathrm{lg}(n!)+O(n \log \log n / \log n)$

Nota 2: Debido a que la misma secuencia de comparaciones conduce al mismo intervalo de delimitación, casi todos los elementos pasarán por el paso (1) veces (a menos que se eliminen en el paso 4). Al principio, si y elegimos , comparamos con el elemento , y cada aplicación del paso (3) a tiene probabilidad de reduciren veces. Ahora, para cada relación que no sea una potencia racional de 2, tenemos , y así obtenemos el $Ω(\log m)$ $A < B$ $A$ $A$ $S[≈(1-1/\sqrt{2})|S|]$ $A$ $O(1)$ $|I_A|$ $≈1/(1-1/\sqrt{2})$ $a>1$ $∀ε>0 ∀d>0 ∃m,n∈\mathbb{N} \,\, 1-ε < \frac{a^m}{d2^n} < 1+ε$ $o(n)$ Unido.

Un algoritmo probable $\mathrm{lg}(n!)+O(n^{1-ε})$

Con un supuesto de aleatorización, podemos lograr comparaciones promedio de la siguiente manera. $\mathrm{lg}(n!)+O(n^{1-ε})$

Mezcle aleatoriamente los elementos y clasifique la primera mitad en una lista , mientras mantiene la segunda mitad como un lote sin clasificar. $S$
Repita hasta que el lote esté vacío:
elija aleatoriamente . Deje . Si es vacía, retire partir del lote y se insertan en . De otra manera: $A∈\text{batch}$ $G = \{ B∈\text{batch}: |P(A < B) - 0.5| < n^{-0.51ε} \}$ $G$ $A$ $S$
1. Si hay tal que con probabilidad (digamos ≥0.05), hacedentro de error relativo de una potencia de 2, ejecute y si tiene éxito (es decir, está dentro de error relativo de una potencia de 2) , retire partir del lote y se insertan en . $B∈G$ $Θ(1)$ $\mathrm{Compare}(A,B)$ $|I_A|$ $n^{-ε}$ $\mathrm{Compare}(A,B)$ $|I_A|$ $n^{-ε}$ $A$ $S$
2. Si no existe tal , ejecute para un aleatorio . $B∈G$ $\mathrm{Compare}(A,B)$ $B∈G$

Si nuestro supuesto de aleatorización funciona (es decir, la distribución de las longitudes y posiciones de los intervalos es lo suficientemente aleatoria), entonces, durante gran parte del proceso, una típica se puede comparar de manera eficiente con una elección de elementos (con diferentes longitudes de intervalo). Por lo tanto, generalmente podemos elegir una comparación para (1) anterior, y si no tenemos suerte con el resultado de la comparación, todavía tenemos posibilidades de , logrando así (si es lo suficientemente pequeño, digamos 0.01) a algoritmo de comparación. Con algunos cambios y aproximaciones, el cálculo total se puede hacer cuasilineal: dado un elemento $A$ $n^{Θ(1)}$ $n^{Θ(1)}$ $Θ(\log n)$ $ε$ $\mathrm{lg}(n!)+O(n^{1-ε})$ $A$ , calcule longitudes de intervalo prometedoras y luego busque s con las longitudes aproximadas correctas de centro e intervalo. $B$

Hay varias formas de optimizar las comparaciones, pero el obstáculo es que cada comparación puede terminar siendo desafortunada y tenemos un número limitado de comparaciones. Si después de la optimización, hace un promedio de 4 comparaciones y 'tiene éxito' con 1/4 de probabilidad, obtenemos . $\mathrm{Compare}(A,B)$ $ε≈(1-ε)/4/\log_{4/3} 2 ≈ 0.09$

Un enfoque quizás mucho mejor es esperar hasta que un intervalo esté cerca de una potencia de 2, controlando no las longitudes de intervalo individuales sino las distribuciones de longitudes.

Un intento de algoritmo $\mathrm{lg}(n!)+n^{0.5+o(1)}$

Supongamos que nos da un lote no ordenado de elementos con los intervalos también dados, contípicamente y con distribuido uniformemente (hasta un error aleatorio, y manteniendo con suficiente precisión incluso si está condicionado por ). Luego, podemos ordenar los elementos desperdiciando un promedio de comparaciones de la siguiente manera: (*) Inserte todos los elementos en el orden de su inicial . De esta forma, todos los elementos se insertan cuando su longitud de intervalo es cercana a una potencia de 2. $|S|=n$ $n$ $I_A$ $|I_A|$ $n^{1-o(1)}$ $\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$ $A < S[i]$ $n^{0.5+o(1)}$
$\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$

El algoritmo de clasificación será: Aleatoriamente barajar la lista y clasificar la primera mitad . Para insertar la segunda mitad, haga la distribución correcta y haga el (*) anterior. $S$

Para hacer que el derecha, podemos hacer una distribución 'aleatoria', y luego retener la fracción derecha de los elementos para cada mientras aleatoriza el resto (repitiendo si es necesario). Sin embargo, si bien esto debería corregir globalmente, no sabemos si se puede controlar localmente con la precisión requerida (de ahí la palabra "intento" anterior). $\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$ $|I_A|/2^{\lfloor \mathrm{lg} |I_A| \rfloor}$ $\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$

Para hacer una distribución 'aleatoria', podemos usar aleatoriamente con , excepto que con el inicial todos idénticos, no esperamos aleatorización a una profundidad sublogarítmica (es decir, con tiempo suficiente). Sin embargo, supongo que obtenemos la aleatorización a una profundidad sublogarítmica utilizando generalizaciones (probablemente cualquier opción razonable funcionará) de elementos to : Si mantenemos elementos enredados (es decir, conectado usando resultados de la comparación), deberíamos tener sobre opciones noncommuting para cada comparación con . Esto debería permitir $\mathrm{Compare}(A,B)$ $P(A < B)≈0.5$ $I_A$ $I_A$ $\mathrm{Compare}$ $k=ω(1)$ $k=ω(1)$ $k$ $S$ $O(\log_k n + \log k)$ profundidad de aleatorización, según se desee (suponiendo que no sea demasiado grande ya que necesitamos profundidad para desenredar los elementos). Espero que el cálculo se pueda hacer cuasilineal si se usa un suficientemente pequeño . $k$ $Θ(\log k)$ $k$

Dado que una comparación con sí, la probabilidad solo desperdicia la entropía , la aleatorización inicial y la leve no uniformidad de los elementos en sus intervalos de límite solo deberían necesitar residuos de entropía. Si la configuración de la distribución tiene éxito, el desperdicio de entropía se debe principalmente a los desajustes de longitud de intervalo durante (*) (de ahí el ). $1/2+n^{-0.5}$ $O(1/n)$ $n^{o(1)}$ $n^{0.5+o(1)}$

Una posible combinación : $\mathrm{lg}(n!)+O(n^{0.5-ε})$ Si la distribución de distribución funciona lo suficientemente bien y hacemos que el tamaño del lote sea igual y rechazar selectivamente elementos en (*) (arriba), podemos insertar todos menos estos elementos con residuos de entropía siguiente manera. Divida en intervalos casi iguales, y cuando durante la inserción, establece en un intervalo, rechace (es decir, cancele la inserción) si el intervalo es demasiado largo, reduciendo así la variación en la duración de estos intervalos $|S|+n^{0.5+ε}$ $≈n^{0.5+ε}$ $≈n^{0.5+ε}$ $n^{0.5-ε/2+o(1)}$ $S$ $n^ε$ $I_A$ $Θ(n^{ε/2})$ veces, lo que a su vez reduce las variaciones de longitud de la longitud aleatoria intervalos en veces, según sea necesario. Ahora, podemos usar el algoritmo anterior para insertar los elementos restantes con desperdicio si es pequeño suficiente. $n^{1-o(1)}$ $n^{ε/2-o(1)}$ $\mathrm{lg}(n!)+O(n^{1-ε})$ $O(n^{0.5-ε'})$ $ε$

La complejidad de la clasificación en el peor de los casos: lo más probable es que haya un algoritmo de clasificación con las comparaciones del peor de los casos. Para encontrar la mediana, hay una brecha lineal entre el caso promedio ( comparaciones) y el peor de los casos (al menos comparaciones). Sin embargo, para ordenar, hay mucha libertad para organizar comparaciones y para encontrar nuevos algoritmos de clasificación. $\mathrm{lg}(n!)+o(n)$ $1.5n+o(n)$ $(2+ε)n-O(1)$

— Dmytro Taranovsky
fuente

Creo que deberías escribir esto como un documento.

— Emil Jeřábek

@ EmilJeřábek De acuerdo. Como sitio de nivel de investigación, muchas preguntas y respuestas aquí son mini documentos, pero con la extensión e importancia aquí, es deseable un documento formal. No dude en avisarme (en dmytro@mit.edu) sobre qué partes deben ampliarse en el documento (con esta respuesta como una versión concisa).

— Dmytro Taranovsky