¿Cuál es la peor complejidad de caso de Gradiente Conjugado?

9

Deje , simétrico y positivo definido. Supongamos que se necesita unidades de trabajo para multiplicar un vector por . Es bien sabido que realizar el algoritmo CG en con el número de condición requiere , unidades de trabajo. $A\in \mathbb{R}^{n\times n}$ $m$ $A$ $A$ $\kappa$ $\mathcal{O} (m\sqrt{\kappa})$

Ahora, por supuesto, al ser una declaración , este es un límite superior. Y el algoritmo CG siempre puede terminar en cero pasos con una conjetura inicial afortunada. $\mathcal{O}$

¿Sabemos si existe un RHS y una conjetura inicial (desafortunada) que requerirá pasos ? Dicho de otra manera, ¿es la complejidad laboral de peor caso de CG realmente ? $\mathcal{\Theta}(\sqrt{\kappa})$ $\Theta( m \sqrt{\kappa})$

Esta pregunta surge cuando traté de determinar si el beneficio de un preacondicionador (menor ) superaba su costo (mayor ). En este momento, estoy trabajando con problemas con los juguetes y me gustaría tener una mejor idea antes de implementar cualquier cosa en un lenguaje compilado. $\kappa$ $m$

conjugate-gradient

— Fred
fuente

55

Probablemente podría construir una suposición inicial pesimista ejecutando el algoritmo CG "hacia atrás" y poniendo la energía adecuada en cada una de las direcciones de búsqueda ortogonales

A

$A$ que el algoritmo requiere todos los pasos.

— origimbo

9

La respuesta es un sí rotundo. El límite de la tasa de convergencia de es nítida sobre el conjunto de matrices simétricas positivas definidas con el número de condición. En otras palabras, sin saber nada más acerca deque su número de condición, CG realmente puede tomar $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ iteraciones para converger. Hablando en términos generales, el límite superior se alcanza si los valores propios dese distribuyen uniformemente (es decir, "salpicado") dentro de un intervalo de condición número. $\sim\sqrt{\kappa}$ $A$ $\kappa$

Aquí hay una declaración más rigurosa. Las versiones deterministas están más involucradas pero funcionan usando los mismos principios.

Teorema (elección del peor caso de ). Elija cualquier matriz ortogonal aleatoria , deje ser números reales muestreados uniformemente del intervalo real , y deje be números reales muestreados en el gaussiano estándar. Defina $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$ Luego, en el límite , gradientes de conjugado convergencia con probabilidad uno a un solución precisa de en no menos de

UNA = U re yo una sol (λ_{1}, ..., λ_{norte}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

iteraciones.

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

Prueba. La prueba estándar se basa en aproximaciones polinómicas óptimas de Chebyshev, utilizando técnicas que se encuentran en varios lugares, como el libro de Greenbaum o el libro de Saad .

— Richard Zhang
fuente

1

El límite no es nítido, como explica la respuesta más adelante, si los valores propios no están distribuidos uniformemente, cg converge más rápido, ya que no es una iteración estacionaria. Por lo tanto, necesitamos saber más sobre la matriz.

— Guido Kanschat

@GuidoKanschat: Buen punto, y he arreglado la declaración para aclarar que la nitidez se alcanza sobre todo

con la condición

.

A

$A$

κ

$\kappa$

— Richard Zhang

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

. En el límite establecido,

, y la solución para el problema minimax es entonces el polinomio de Chebyshev, cuyo error converge como

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— Richard Zhang

0

Tomando esto como mi pregunta original: ¿Sabemos si existe un RHS y una suposición inicial (desafortunada) que requerirá pasos? $\Theta(\sqrt{\kappa})$

La respuesta a la pregunta es "no". La idea de esta respuesta proviene del comentario de Guido Kanschat.

Reclamación: Para cualquier número de condición dado , existe una matriz , con ese número de condición para la cual el algoritmo CG terminará en la mayoría de los dos pasos (para cualquier RHS dado y suposición inicial). $k$ $A$

Considere donde . Entonces el número de condición de es . Sea el RHS, y denote los valores propios de como donde $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{yo} = {\begin{cases} 1 & yo = 1 \\ κ & yo \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

$x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ X^{(2)} - {UNA}^{- 1} si, UNA (X^{(2)} - {UNA}^{- 1} si) ⟩ & = {‖ X^{(2)} - {UNA}^{- 1} si ‖}_{UNA}^{2} \\ = min_{pags \in {pags o l y}_{1}} {‖ (pags (UNA) - {UNA}^{- 1}) si ‖}_{UNA}^{2} \\ = min_{pags \in {pags o l y}_{1}} \sum_{yo = 1}^{norte} (pags (λ_{yo}) - λ_{yo}^{- 1})^{2} λ_{yo} {si}_{yo}^{2} \\ \leq \sum_{yo = 1}^{norte} (\hat{pags} (λ_{yo}) - λ_{yo}^{- 1})^{2} λ_{yo} {si}_{yo}^{2} = 0 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

$\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

$x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— Fred
fuente

¿Cuánto de esto es robusto a la aritmética de precisión finita?

— origimbo

@origimbo Si su pregunta me fue dirigida, la respuesta es: "No sé".

— Fred