En informática, a menudo tenemos que resolver relaciones de recurrencia , es decir, encontrar una forma cerrada para una secuencia de números definida recursivamente. Al considerar los tiempos de ejecución, a menudo nos interesa principalmente el crecimiento asintótico de la secuencia .

Ejemplos son

1. El tiempo de ejecución de una función recursiva de cola que desciende a desde cuyo cuerpo toma tiempo :$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. La secuencia de Fibonacci :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. El número de palabras Dyck con pares de paréntesis:$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. La recurrencia de tiempo de ejecución mergesort en listas de longitud :$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

¿Cuáles son los métodos para resolver las relaciones de recurrencia? Estamos buscando

• métodos generales y
• métodos para una subclase significativa

tanto como

• métodos que producen soluciones precisas y
• métodos que proporcionan (limita) el crecimiento asintótico.

^{Se supone que esto se convertirá en una pregunta de referencia. Publique una respuesta por método y proporcione una descripción general, así como un ejemplo ilustrativo.}

Convertir historia completa en historia limitada

Este es un primer paso para resolver las recurrencias donde el valor en cualquier número entero depende de los valores en todos los números enteros más pequeños. Considere, por ejemplo, la recurrencia que surge en el análisis de clasificación rápida aleatoria . (Aquí, es el rango del pivote elegido al azar). Para cualquier número entero , el valor de depende de todos los con . Las recurrencias de esta forma se llaman recurrencias de historia completa .knT(n)T(k)k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Para resolver esta recurrencia, podemos transformarla en una recurrencia histórica limitada , donde depende solo de un número constante de valores anteriores. Pero primero, ayuda a simplificar un poco la recurrencia, a recopilar términos comunes y eliminar fracciones molestas. Ahora para convertir a una recurrencia de historial limitado , anotamos la recurrencia para , resta y vuelve a reunir los términos: n T ( n $T(n)$ T(n-1) ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Ahora, si definimos y reemplazamos la fracción con la forma asintótica más simple , obtenemos la recurrencia mucho más simple Expandir esta recurrencia en una suma inmediatamente nos da , donde es el número armónico . Concluimos que .2 n - $t(n) = T(n)/(n+1)$ Θ(1/n)t(n)=Θ(1/n)+t(n-1). t(n)=Θ(Hn)=Θ(logn)Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Funciones de generación$\newcommand{\nats}{\mathbb{N}}$

Cada serie de números corresponde a una función generadora . A menudo se puede obtener cómodamente a partir de una recurrencia para obtener sus coeficientes, los elementos de la serie, arrancados.

Esta respuesta incluye el ansatz general con un ejemplo completo, un acceso directo para un caso especial y algunas notas sobre el uso de este método para obtener asintóticos (incluso si no se puede obtener el resultado preciso).

El método

Deje una serie de números. Entonces, la serie de poder formal$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

es la función generadora ordinaria ¹ de . Los coeficientes en la expansión en serie de iguales a la secuencia, es decir, . Por ejemplo, la función generadora ordinaria de los famosos números catalanes es$(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

La definición de también es nuestro ansatz para resolver una recurrencia. Esto funciona mejor para las recurrencias lineales, así que supongamos, por simplicidad, una recurrencia de la forma$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

para algunos fijo y una función independiente de todos . Ahora simplemente insertamos tanto los anclajes como la parte recursiva en el ansatz, es decir$b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

Usando la mecánica de la manipulación de la suma, las propiedades de las series de poder formales y las identidades conocidas ², el último lado derecho tiene que ser llevado a formas cerradas, típicamente en términos de . La ecuación resultante puede (a menudo) resolverse para . La expansión en serie del resultado (que puede obtenerse fácilmente, ser conocida o de otra manera accesible) es esencialmente la solución.$A(z)$$A(z)$

Se pueden encontrar buenas presentaciones en el libro de Wilf [3] y en GKP [4]. Flajolet y Sedgewick han recogido material avanzado [5].

Ejemplo

Considerar

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Calculamos:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Esto resuelve a

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Ahora finalmente podemos leer

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Una vez que te acostumbras , notas que todo esto es bastante mecánico. De hecho, el álgebra computacional puede hacer todo esto por usted en muchos casos. Lo bueno es que sigue siendo (más o menos) esa mecánica incluso si la recurrencia es más compleja. Vea aquí un ejemplo más complicado y menos mecánico.

También tenga en cuenta que las técnicas generales también funcionan si los objetos buscados son números complejos, o incluso polinomios.

Un atajo

Para recurrencias lineales y homogéneas, es decir, de la forma

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

Lo anterior pasa exactamente de la misma manera, siempre. Al realizar el cálculo anterior simbólicamente, encontramos el siguiente lema . Dejar

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

ser el polinomal característico (de la recurrencia). Supongamos además los (por pares distintos) de dicho polinomio con multiplicidad , respectivamente. Entonces, el coeficiente deseado viene dado por$\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

con desconocido . Como el polinomio característico tiene un grado , existen exactamente (complejos) ceros, es decir, la suma a . Por lo tanto, los coeficientes faltantes se pueden determinar resolviendo el sistema de ecuaciones lineales con ecuaciones obtenidas al igualar la fórmula anterior con cualquier de (por ejemplo, los anclajes).$b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

Asintóticas

Llegar a un formulario cerrado para suele ser la parte fácil. Sin embargo, expresarlo en funciones generadoras que conocemos los coeficientes de (como lo hicimos en el ejemplo) se vuelve rápidamente difícil. Los ejemplos son de arriba y el del número de palabras Dyck mencionadas en la pregunta.$A(z)$$C(z)$

Se puede emplear maquinaria de análisis compleja, específicamente análisis de singularidad, para obtener asintóticos para los coeficientes; Las palabras de moda incluyen el método de Darboux y el método de punto de silla. Estos se basan en el teorema de residuos y la fórmula integral de Cauchy . Ver [6] para más detalles.

---

1. Puede hacer cosas similares con exponencial , Dirichlet y algunas otras funciones generadoras. Lo que funciona mejor depende de la secuencia en cuestión y, en particular, si encuentra las formas cerradas necesarias.
2. Por ejemplo, de la TCS Cheat Sheet o [3].
3. Generationfunctionology por H. Wilf (1994, 2ª ed.) - disponible para descarga gratuita
4. Matemáticas concretas por RL Graham, DE Knuth y O. Patashnik (1994, 2ª ed.)
5. Introducción al análisis de algoritmos por R. Sedgewick y P. Flajolet (2a edición, 2013) - disponible para descarga gratuita
6. Analytic Combinatorics por P. Flajolet y R. Sedgewick (2009) - disponible para descarga gratuita

Teorema maestro

El teorema maestro proporciona asintóticos para las soluciones de las recurrencias denominadas divide y vencerás , es decir, dividir sus parámetros en fragmentos proporcionales (en lugar de cortar constantes). Por lo general, se producen al analizar algoritmos de división y conquista (recursivos), de ahí el nombre. El teorema es popular porque a menudo es increíblemente fácil de aplicar. Por otro lado, solo se puede aplicar a las recurrencias de la siguiente forma:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

con . Hay tres casos$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   para algunos ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   para algunos ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   para algunos y$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   para algunos y .$c < 1$$n \to \infty$

que implican los asintóticos

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ y
3. $T \in \Theta \left(f \right)$ ,

respectivamente. Tenga en cuenta que los casos base no se indican ni se usan aquí; eso tiene sentido, considerando que solo estamos investigando el comportamiento asintótico . Nos silencio suponer que son algunas constantes (¿qué más pueden ser. ¿Qué constantes que no vemos es irrelevante, todos ellos se desvanecen en el .$\Theta$

Ejemplos

1. Considera la recurrencia

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   Con y - tenga en cuenta que vemos que el caso uno se aplica con . Por lo tanto, .$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Considera la recurrencia

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   Con y - tenga en cuenta que vemos que el caso dos se aplica con . Por lo tanto, .$f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Considera la recurrencia

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   Con y - tenga en cuenta que vemos que el caso tres se aplica con y . Por lo tanto, .$f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Considera la recurrencia

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Aquí tenemos , y- muchos ejemplos estándar tendrán el polinomio , pero esto no es una regla. Tenemos , y el caso tres se aplica nuevamente. Sin embargo, en este caso, podemos elegir cualquier y como para todos los . De ahí .$a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

Otras lecturas

• Es muy posible que no se aplique ninguno de los casos del teorema maestro. Por ejemplo, los subproblemas pueden no tener el mismo tamaño o tener una forma más compleja. Hay algunas extensiones del teorema del Maestro, por ejemplo Akra-Bazzi [1] o Roura [2]. Incluso hay una versión que funciona para recurrencias discretas (es decir, se usan pisos y techos en los parámetros recursivos) y proporciona resultados más nítidos [3].

• Por lo general, debe dar masajes a la relación de recurrencia real que tiene en forma antes de poder aplicar el teorema maestro. Las transformaciones comunes que preservan los asintóticos incluyen la caída de pisos y techos, así como la suposición de . Tenga cuidado de no romper cosas aquí; consulte [4] la sección 4.6 y esta pregunta para más detalles.$n=b^k$

---

1. Sobre la solución de ecuaciones de recurrencia lineal por M. Akra y L. Bazzi (1998)
2. Un teorema maestro mejorado para las recurrencias de divide y vencerás por S. Roura (1997)
   ^{Se refiere a otros teoremas maestros mejorados.}
3. Un teorema maestro para las repeticiones discretas de dividir y conquistar por M. Drmota y W. Szpankowski (2011)
4. Introducción a los algoritmos por Cormen et al. (2009, 3a edición)

Adivina y prueba

O cómo me gusta llamarlo, la " técnica de ". Se puede aplicar a todo tipo de identidades. La idea es simple:$\dots$

Adivina la solución y prueba su corrección.

Este es un método popular, posiblemente porque generalmente requiere algo de creatividad y / o experiencia (bueno para presumir) pero poca mecánica (se ve elegante). El arte aquí es hacer conjeturas bien educadas; la prueba es (en nuestro caso) generalmente una inducción más o menos simple.

Cuando se aplica a las recurrencias, la "suposición" generalmente se realiza

• expandiendo la recurrencia un par de veces,
• descifrar el ancla y
• adivinando el patrón para el intermedio (los ).$\dots$

Ejemplo simple

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

algunas veces la definición de :$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Aquí, el patrón es fácil de detectar y nos lleva a la afirmación:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Ahora probamos la identidad por inducción. Para , podemos establecer la corrección al insertar el valor respectivo. Suponiendo que la identidad se cumple para todos para un arbitrario pero fijo , calculamos$n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

que prueba la identidad por el poder de la inducción.

Si intenta usar esto en las recurrencias más complicadas, rápidamente se encuentra con la desventaja principal de este método: puede ser difícil ver el patrón o condensarlo en una forma cerrada agradable.

Asintóticas

También es posible utilizar este método para las asíntotas. Sin embargo, tenga en cuenta que debe adivinar las constantes para los símbolos de Landau, ya que debe haber una constante que establezca el límite para todo , es decir, el factor constante no puede cambiar durante la inducción.$n$

Considere, por ejemplo, la recurrencia de tiempo de ejecución Mergesort, simplificada para el caso de ¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

Nosotros suponemos que con constante , que es . Probamos esto por inducción sobre ; el paso inductivo se ve así:$T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Para secuencias de naturales no decrecientes, cada subsecuencia infinita tiene el mismo crecimiento asintótico que la secuencia original.

El método Akra-Bazzi

El método Akra-Bazzi proporciona asintóticos para las recurrencias de la forma: Esto cubre las recurrencias habituales de divide y vencerás, pero también casos en los que la división es desigual. Los "términos " pueden atender divisiones que no resultan exactas, por ejemplo. Las condiciones de aplicabilidad son:

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Hay suficientes casos básicos para que la recurrencia continúe
• El y son todos constantes$a_i$$b_i$
• Para todo ,$i$$a_i > 0$
• Para todo ,$i$$0 < b_i < 1$
• $\lvert g(x) \rvert = O(x^c)$ para alguna constante como$c$$x \rightarrow \infty$
• Para todo ,$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ es una constante

Tenga en cuenta que , y como la función diente de sierra siempre está entre 0 y 1, reemplazando (o según corresponda) cumple las condiciones en .$\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Encuentre tal que: Entonces el comportamiento asintótico de como viene dado por: con "suficientemente grande", es decir, hay para que para todos .$p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$ $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Ejemplo A

Como ejemplo, tome la recursividad para , donde : Se cumplen las condiciones, necesitamos : Por suerte, . Así tenemos: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

ya que con cumplimos para todos . Tenga en cuenta que debido a que la integral converge incluso si usamos otras constantes, como , como límite inferior, es legal usarlas también; la diferencia se desvanece en .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Ejemplo B

Otro ejemplo es el siguiente para : Tenemos , verificar. Tenemos que hay un solo , , que se . Suponiendo que es realmente y / o , el implícito también se revisa. Entonces necesitamos: Por lo tanto, , y: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Aplicamos un truco similar al anterior para el límite inferior de la integral, solo que usamos porque la integral no converge para .$2$$1$

(Se agradece la ayuda de maxima con el álgebra)

Sumas

A menudo uno encuentra una recurrencia de la forma donde es monótono. En este caso, podemos expandir y así se le da un valor inicial , para estimar necesitamos estimar la suma .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

No decreciente$f(n)$

Cuando es monótono no decreciente, tenemos los límites obvios Estos límites son los mejores posibles en el sentido de que son ajustados para algunas funciones: el límite superior para funciones constantes y el límite inferior para funciones escalonadas ( para y para ). Sin embargo, en muchos casos estas estimaciones no son muy útiles. Por ejemplo, cuando , el límite inferior es y el límite superior es , por lo que están bastante separados.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

Integración

La integración proporciona una mejor estimación: Para , esto da el valor correcto de la suma en términos de orden inferior: Cuando podemos calcular la suma explícitamente, pero en muchos casos el cálculo explícito es difícil. Por ejemplo, cuando la antiderivada de es , y entonces

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

La fórmula de Euler-Maclaurin ofrece mejores estimaciones. Esta fórmula se puede usar, por ejemplo, para probar formas fuertes de la fórmula de Stirling, estimando la suma .$\log n! = \sum_{m=1}^n \log m$

No aumenta$f(n)$

En algunos casos, es monótono y no aumenta. Las estimaciones triviales se convierten en y las estimaciones integrales Como ejemplo, para , usando obtenemos $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick y Flajolet han realizado un extenso trabajo en combinatoria analítica , lo que permite que las recurrencias se resuelvan asintóticamente utilizando una combinación de funciones generadoras y análisis complejos. Su trabajo permite que muchas recurrencias se resuelvan automáticamente, y se ha implementado en algunos sistemas de álgebra computacional.

Este libro de texto sobre el tema fue escrito por Flajolet y Sedgewick y es una excelente referencia. Una exposición algo más simple, orientada a aplicaciones para el análisis de algoritmos, es este texto de Sedgewick y Flajolet.

¡Espero que esto ayude!

Puede haber ocasiones en las que encuentre una recurrencia extraña como esta: Si eres como yo, te darás cuenta de que no puedes usar el Master Theorem y luego puedes pensar: " hmmm ... tal vez un análisis de árbol de recurrencia podría funcionar ". Entonces te darás cuenta de que el árbol comienza a volverse asqueroso muy rápido. ¡Después de buscar en Internet, verá que el método Akra-Bazzi funcionará! Entonces, realmente comienzas a investigarlo y te das cuenta de que realmente no quieres hacer todos los cálculos. Si has sido como yo hasta este momento, te emocionará saber que hay una manera más fácil.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

El teorema de división desigual Parte 1

Deje y sean constantes positivas.$c$$k$

Luego, deje que sean constantes positivas tales que .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

También debemos tener una recurrencia del formulario (como nuestro ejemplo anterior):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Reclamación

Luego reclamo donde es una constante (por ejemplo, asintóticamente lineal) y:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Prueba por inducción

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Inducción : Supongamos que es verdadero para cualquier , entonces tenemos$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Entonces tenemos .$T(n) \leq bn \implies T(n) = O(n)$

Ejemplo

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Primero verificamos los coeficientes dentro de la suma de llamadas recursivas a menos de uno: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Luego verificamos que el caso base es menor que el máximo de las inversas de los coeficientes:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

Con estas condiciones cumplidas, sabemos donde es una constante igual a: Por lo tanto, tenemos: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

El teorema de división desigual Parte 2

Del mismo modo, podemos probar un límite para cuando . La prueba seguirá mucho del mismo formato:$\sum_1^k = 1$

Sean y constantes positivas de modo que .$c$$k$$k > 1$

Luego, deje que sean constantes positivas tales que .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

También debemos tener una recurrencia del formulario (como nuestro ejemplo anterior):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Reclamación

Luego reclamo (elegimos base porque será el factor de ramificación del árbol de recursión) donde y son constantes (p. Ej., Lineal y asintóticamente lineal) ) tal que:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ y $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Prueba por inducción

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Inducción : Supongamos que es verdadero para cualquier , entonces tenemos$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Entonces tenemos .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

Ejemplo

Modifiquemos el ejemplo anterior que usamos solo un poco:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Primero verificamos que los coeficientes dentro de las llamadas recursivas sumen uno:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Luego verificamos que el caso base es menor que el máximo de las inversas de los coeficientes:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

Con estas condiciones cumplidas, sabemos que donde y es una constante igual a: Por lo tanto, tenemos: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

Después de revisar esta publicación nuevamente, me sorprende que todavía no esté aquí.

Transformación de dominio / Cambio de variables

Cuando se trata de recurrencias, a veces es útil poder cambiar su dominio si no está claro qué tan profundo irá la pila de recurrencia.

Por ejemplo, tome la siguiente recurrencia:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

¿Cómo podríamos resolver esto? Podríamos ampliar la serie, pero prometo que esto se volverá asqueroso muy rápido. En cambio, consideremos cómo cambia nuestra entrada con cada llamada.

Primero tenemos:

1. $n$ , entonces
2. $2^{2^{\sqrt{\log \log n}}}$ , luego
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ , y así sucesivamente.

El objetivo de una transformación de dominio ahora será cambiar nuestra recurrencia en una equivalente, de modo que en lugar de las transiciones anteriores, simplemente tengamos .$S(k)$$k, k-1, k-2, \ldots$

Por ejemplo, si dejamos , esto es lo que obtenemos para nuestra recurrencia anterior: Entonces podemos simplemente reescribirlo como: Entonces todo lo que tienes que hacer es convertir nuevo a para obtener: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

Con este ejemplo, ahora podemos ver nuestro objetivo.

Suponga que Para alguna constante y las funciones y .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Ahora estamos tratando de encontrar alguna función y tal que $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

En términos más generales, queremos donde es la aplicación repetida de en , veces. (por ejemplo, ). Esto permitirá que actúe como la función "iterativa". Donde, a profundidad de recursión, el trabajo realizado es simplemente .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Entonces podemos convertir esto fácilmente a para que Entonces solo tenemos que preocuparnos por resumiendo para todos los hasta un caso base dado. Es decir, $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Si podemos determinar para alguna forma cerrada función , entonces podemos determinar como $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Luego usamos esto para obtener un límite en través de uno de los otros métodos anteriores. Obviamente, podría modificar este método un poco para su especificación, pero en general está tratando de encontrar una función iterativa para convertir en una simple recursión.$T(n)$$g(k)$$T(n)$

No sé una forma exacta de determinar en este punto, pero seguiré pensando en ello y actualizaré si se vuelve más claro (¡o si algún comentarista tiene algunos consejos!). La mayoría de las veces he encontrado mis funciones través de prueba y error (ver aquí , aquí , aquí y aquí para ver ejemplos).$g(k)$$g(k)$

Hay un enfoque más que funciona para las relaciones de recurrencia simples: pídale a Wolfram Alpha que resuelva la recurrencia por usted.

Por ejemplo, intente escribir f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)en Wolfram Alpha. Obtendrá una solución, con un enlace a los números de Fibonacci. O intente f(1)=1, f(n)=f(n-1)+no f(1)=1, f(n)=2*f(n-1)+3*no f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3para otros ejemplos. Sin embargo, tenga cuidado: Wolfram Alpha puede resolver algunas recurrencias muy simples, pero se desmorona para las más complejas.

Este enfoque evita la necesidad de pensar, lo que puede verse como un error o una característica.

El caso 2 del teorema maestro, como se suele decir, maneja solo las recurrencias de la forma en la que para . El siguiente teorema, tomado de un folleto de Jeffrey Leon, da la respuesta para negativa :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Considere la recurrencia con un caso base apropiado.$T(n) = a T(n/b) + f(n)$

1. Si para entonces .$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Si para entonces .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Si para entonces )$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

La prueba usa el método de sustitución repetida, como ahora bosquejamos. Supongamos que y . Entonces, para una potencia de , Ahora consideremos los casos uno por uno. Cuando , la serie converge, y entonces . Cuando , la suma es la suma armónica , y así$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Cuando , podemos aproximar la suma usando una integral: y entonces .$c > 0$ $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$