Funciones de clasificación por crecimiento asintótico

Supongamos que tengo una lista de funciones, por ejemplo

$\qquad n^{\log \log(n)}, 2^n, n!, n^3, n \ln n, \dots$

¿Cómo los ordeno asintóticamente, es decir, después de la relación definida por

$\qquad f \leq_O g \iff f \in O(g)$ ,

suponiendo que sean comparables por pares (ver también aquí )? Usar la definición de parece incómodo, y a menudo es difícil demostrar la existencia de constantes adecuadas y .c n $O$$c$$n_0$

Se trata de medidas de complejidad, por lo que nos interesa el comportamiento asintótico como , y suponemos que todas las funciones toman solo valores no negativos ( ).∀ n , f ( n ) ≥ $n \to +\infty$$\forall n, f(n) \ge 0$

Si desea una prueba rigurosa, el siguiente lema a menudo es útil resp. más útil que las definiciones.

$c = \lim_{n\to\infty} \frac{f(n)}{g(n)}$

• $c=0 \qquad \ \,\iff f \in o(g)$ ,
• $c \in (0,\infty) \iff f \in \Theta(g)$ y
• $c=\infty \quad \ \ \ \iff f \in \omega(g)$ .

Con esto, debería poder ordenar la mayoría de las funciones que aparecen en el análisis de algoritmos¹. Como ejercicio, ¡pruébalo!

Por supuesto, debe poder calcular los límites en consecuencia. Algunos trucos útiles para descomponer funciones complicadas en básicas son:

• Exprese ambas funciones como y compare los exponentes; si su relación tiende a o , también lo hace el cociente original. 0 $e^{\dots}$$0$$\infty$

• En términos más generales: si tiene una función convexa, continuamente diferenciable y estrictamente creciente para que pueda volver a escribir su cociente$h$

  $\qquad \displaystyle \frac{f(n)}{g(n)} = \frac{h(f^*(n))}{h(g^*(n))}$ ,

  con y$g^* \in \Omega(1)$

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f^*(n)}{g^*(n)} = \infty$ ,

  luego

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f(n)}{g(n)} = \infty$ .

  ^{Vea aquí una prueba rigurosa de esta regla (en alemán).}

• Considere la continuación de sus funciones sobre los reales. Ahora puede usar la regla de L'Hôpital ; ¡ten en cuenta sus condiciones²!

• Eche un vistazo al equivalente discreto, Stolz – Cesàro .

• Cuando aparezcan los factoriales, use la fórmula de Stirling :

  $\qquad \displaystyle n! \sim \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n$

También es útil mantener un conjunto de relaciones básicas que demuestre una vez y use con frecuencia, como:

• los logaritmos crecen más lentamente que los polinomios, es decir

  α , β > $\qquad\displaystyle (\log n)^\alpha \in o(n^\beta)$ para todos .$\alpha, \beta > 0$

• orden de polinomios:

  α<$\qquad\displaystyle n^\alpha \in o(n^\beta)$ para todos .$\alpha < \beta$

• Los polinomios crecen más lentamente que los exponenciales:

  αc>$\qquad\displaystyle n^\alpha \in o(c^n)$ para todos y .$\alpha$$c > 1$

---

Puede suceder que el lema anterior no sea aplicable porque el límite no existe (por ejemplo, cuando las funciones oscilan). En este caso, considere la siguiente caracterización de las clases de Landau usando limas superior / inferior :

Con tenemos$c_s := \limsup_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 \leq c_s < \infty \iff f \in O(g)$ y
• $c_s = 0 \iff f \in o(g)$ .

Con tenemos$c_i := \liminf_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 < c_i \leq \infty \iff f \in \Omega(g)$ y
• $c_i = \infty \iff f \in \omega(g)$ .

Además,

• $0 < c_i,c_s < \infty \iff f \in \Theta(g) \iff g \in \Theta(f)$ y
• $c_i = c_s = 1 \iff f \sim g$ .

---

Comprueba aquí y aquí si mi notación te confunde.

---

Bene Nota bene: Mi colega escribió una función de Mathematica que hace esto con éxito para muchas funciones, por lo que el lema realmente reduce la tarea a la computación mecánica.

² Ver también aquí .

Otro consejo: a veces aplicar una función monótona (como log o exp) a las funciones aclara las cosas.

Skiena proporciona una lista ordenada de las relaciones de dominio entre las funciones más comunes en su libro, The Algorithm Design Manual:

$$n!\gg c^n \gg n^3 \gg n^2 \gg n^{1+\epsilon} \gg n \lg n \gg n \gg n^{1/2}$$ $$\gg \lg^2n \gg \lg n \gg \frac{\lg n}{\lg\lg n} \gg \lg\lg n \gg \alpha(n) \gg 1$$

Aquí denota la función inversa de Ackermann .$\alpha(n)$

Consejo: dibuje gráficos de estas funciones usando algo como Wolfram Alpha para tener una idea de cómo crecen. Tenga en cuenta que esto no es muy preciso, pero si lo intenta con números suficientemente grandes, debería ver los patrones comparativos de crecimiento. Por supuesto, esto no sustituye a una prueba.

Por ejemplo, pruebe: plot log (log (n)) de 1 a 10000 para ver un gráfico individual o plot log (log (n)) y plot log (n) de 1 a 10000 para ver una comparación.

Sugiero proceder de acuerdo con las definiciones de varias notaciones. Comience con un par de expresiones arbitrarias y determine el orden de esas, como se describe a continuación. Luego, para cada elemento adicional, encuentre su posición en la lista ordenada utilizando la búsqueda binaria y comparando como se muestra a continuación. Entonces, por ejemplo, clasifiquemos y , las dos primeras funciones de n, para comenzar la lista. 2 $n^{\log\log n}$$2^n$

Utilizamos la propiedad de que para reescribir la primera expresión como n log log n = ( 2 log n ) log log n = 2 log n log log $n = 2^{\log n}$$n^{\log\log n} = (2^{\log n})^{\log\log n} = 2^{\log n\log\log n}$$n^{\log\log n} = 2^{\log n\log\log n} \in o(2^n)$$c > 0$$n_0$$n \geq n_0$$c(n^{\log\log n}) = c(2^{\log n\log\log n}) < 2^n$

$3^n$$2^n$$3^n = (2^{\log 3})^n = 2^{n\log3}$$2^n \in o(3^n) = o(2^{n \log 3})$

Etc.

$$\begin{array}{|l|l|} \hline Name & \text{Running Time} \\ \hline \text{Constant time} & \mathcal{O}(1) \\ \text{Inverse Ackermann time} & \mathcal{O}(a(n)) \\ \text{Iterated logarithmic time} & \mathcal{O}(\log^*n) \\ \text{Log-logarithmic} & \mathcal{O}(n \log n) \\ \text{Logarithmic time} & \mathcal{O}(\log n) \\ \text{Polylogarithmic time} & poly(\log n) \\ \text{Fractional power} & \mathcal{O}(n^c) ,\text{where } 0<c<1 \\ \text{Linear time} & \mathcal{O}(n) \\ \text{"n log star n" time} & \mathcal{O}(n \log^* n) \\ \text{Quasilinear time} & \mathcal{O}(n \log n) \\ \text{Quadratic time} & \mathcal{O}(n^2) \\ \text{Cubic time} & \mathcal{O}(n^3) \\ \text{Polynomial time} & poly(n) = 2^{\mathcal{O}(\log n)} \\ \text{Quasi-polynomial time} & 2^{\mathcal{O}(poly(\log n))} \\ \text{Sub-exponential time (first definition)} & \mathcal{O}(2^{n^{\epsilon}}), \epsilon >0 \\ \text{Sub-exponential time (second definition)} & 2^{\mathcal{o}(n)}\\ \text{Exponential time(with linear exponent)} & 2^{\mathcal{O}(n)} \\ \text{Exponential time} & 2^{poly(n)} \\ \text{Factorial time} & \mathcal{O}(n!) \\\hline \end{array}$$

$poly(x) = x^{\mathcal{O}(1)}$