Criterios de detención para solucionadores lineales iterativos aplicados a sistemas casi singulares

Considere con casi singular, lo que significa que hay un valor propio de que es muy pequeño. El criterio habitual de detención de un método iterativo se basa en el valor residual y considera que las iteraciones pueden detenerse cuando con el número de iteración. Pero en el caso que estamos considerando, podría haber un gran error viviendo en el espacio propio asociado con el pequeño valor propio que da un pequeño residual . Supongamos que el residual inicial es grande, entonces podría ocurrir que nos detengamos en $Ax=b$ $A$ $\lambda_0$ $A$ $r_n:=b-Ax_n$ $\|r_n\|/\|r_0\|<tol$ $n$ $v$ $\lambda_0$ $Av=\lambda_0v$ $r_0$ $\|r_n\|/\|r_0\|<tol$ pero el error sigue siendo grande. ¿Cuál es un mejor indicador de error en este caso? Esun buen candidato? $x_n-x$ $\|x_{n}-x_{n-1}\|$

linear-algebra

— Hui Zhang
fuente

Es posible que desee pensar en su definición de "casi singular". La matriz (con e la matriz de identidad) tiene un valor propio muy pequeño, pero está tan lejos de ser singular como podría ser cualquier matriz.

I \cdot ϵ

$I \cdot \epsilon$

ϵ ≪ 1

$\epsilon\ll 1$

I

$I$

— David Ketcheson el

Además,Parece la notación incorrecta. es mas tipico, no?

| | r_{n} / r_{0} | |

$||r_n/r_0||$

| | r_{n} | | / | | r_{0} | |

$||r_n||/||r_0||$

— Bill Barth

Sí, tienes razón, Bill! Corregiré este error.

— Hui Zhang

¿Qué pasa con

‖ b - A x ‖ / ‖ b ‖

$\| b - Ax \| / \| b \|$ ? ¿Y cuál es exactamente tu algoritmo?

— shuhalo

Anexo: Creo que el siguiente artículo aborda los sistemas mal condicionados que le preocupan, al menos si está utilizando CG: Axelson, Kaporin: estimación de la norma de error y criterios de detención en iteraciones de gradiente conjugado preacondicionado. DOI: 10.1002 / nla.244

— shuhalo

Respuestas:

Por favor, no use la diferencia entre iteraciones sucesivas para definir un criterio de parada. Esto diagnostica erróneamente el estancamiento por convergencia. La mayoría de las iteraciones de matriz no simétricas no son monótonas, e incluso GMRES en aritmética exacta sin reinicios puede estancarse por un número arbitrario de iteraciones (hasta la dimensión de la matriz) antes de converger repentinamente. Véanse ejemplos en Nachtigal, Reddy y Trefethen (1993) .

Una mejor manera de definir la convergencia.

Por lo general, estamos interesados en la precisión de nuestra solución más que en el tamaño del residuo. Específicamente, nos gustaría garantizar que la diferencia entre una solución aproximada y la solución exacta satisface para algunos especificados por el usuario . Resulta que puede lograr esto al encontrar una tal que donde es el valor singular más pequeño de , debido a $x_n$ $x$

| x_{n} - x | < c

$|x_n - x| < c$

c

$c$

x_{n}

$x_n$

| A x_{n} - b | < c ϵ

$|A x_n - b| < c\epsilon$

ϵ

$\epsilon$

A

$A$

\begin{aligned} | x_{n} - x | & = | A^{- 1} A (x_{n} - x) | \\ \leq \frac{1}{ϵ} | A x_{n} - A x | \\ = \frac{1}{ϵ} | A x_{n} - b | \\ < \frac{1}{ϵ} \cdot c ϵ = c \end{aligned}

$\begin{align} |x_n - x| &= |A^{-1} A (x_n - x)| \\ & \le \frac 1 \epsilon |A x_n - A x| \\ & = \frac 1 \epsilon |A x_n - b| \\ & < \frac 1 \epsilon \cdot c \epsilon = c \end{align}$

donde hemos usado que es el mayor valor singular de (segunda línea) y que resuelve exactamente (tercera línea). $1/\epsilon$ $A^{-1}$ $x$ $A x = b$

Estimando el valor singular más pequeño $\epsilon$

Una estimación precisa del valor singular más pequeño generalmente no está disponible directamente del problema, pero se puede estimar como un subproducto de un gradiente conjugado o una iteración GMRES. Tenga en cuenta que aunque las estimaciones de los mayores valores propios y valores singulares es por lo general bastante bueno después de sólo unas pocas iteraciones, una estimación precisa de los más pequeños Eigen / valor singular lo general sólo se obtiene una vez que se alcanza la convergencia. Antes de la convergencia, la estimación generalmente será significativamente mayor que el valor real. Esto sugiere que en realidad debe resolver las ecuaciones antes de poder definir la tolerancia correcta . Una tolerancia de convergencia automática que toma una precisión proporcionada por el usuario $\epsilon$ $c\epsilon$ $c$ para la solución y estima que el valor singular más pequeño con el estado actual del método de Krylov podría converger demasiado pronto porque la estimación de fue mucho mayor que el valor verdadero. $\epsilon$ $\epsilon$

Notas

La discusión anterior también funciona con reemplazado por el operador preacondicionado izquierdo y el residuo preacondicionado o con el operador preacondicionado derecho y el error . Si $A$ $P^{-1}A$ $P^{-1} (A x^n - b)$ $A P^{-1}$ $P (x_n - x)$ $P^{-1}$ es un buen preacondicionador, el operador preacondicionado estará bien acondicionado. Para el preacondicionamiento a la izquierda, esto significa que el residuo preacondicionado puede hacerse pequeño, pero el verdadero residuo puede no serlo. Para el preacondicionamiento correcto, se hace fácilmente pequeño, pero el verdadero error puede no ser. Esto explica por qué el preacondicionamiento a la izquierda es mejor para hacer que el error sea pequeño, mientras que el preacondicionamiento a la derecha es mejor para hacer que el residual sea pequeño (y para depurar preacondicionadores inestables). $|P(x_n - x)|$ $|x_n-x|$
Consulte esta respuesta para obtener más información sobre las normas minimizadas por GMRES y CG.
Las estimaciones de valores singulares extremos se pueden monitorear -ksp_monitor_singular_valuecon cualquier programa PETSc. Consulte KSPComputeExtremeSingularValues () para calcular valores singulares a partir del código.
Cuando se usa GMRES para estimar valores singulares, es crucial que no se reinicie (por ejemplo, -ksp_gmres_restart 1000en PETSc).

— Jed Brown
fuente

'' también funciona con A reemplazado por un operador preacondicionado ''. Sin embargo, solo se aplica al residual preacondicionado

si se usa

, resp. al error preacondicionado

si se utiliza

P^{- 1} r

$P^{-1}r$

P^{- 1} A

$P^{-1}A$

P^{- 1} δ x

$P^{-1}\delta x$

A P^{- 1}

$AP^{-1}$

— Arnold Neumaier

Buen punto, edité mi respuesta. Tenga en cuenta que el caso preacondicionado derecho le da el control de

, desenrollando el preacondicionador (aplicando

) típicamente amplifica los modos de baja energía en el error.

P δ x

$P\delta x$

P^{- 1}

$P^{-1}$

— Jed Brown

Otra forma de ver este problema es considerar las herramientas de problemas inversos discretos, es decir, problemas que implican resolver o donde está muy mal condicionado (es decir, la relación entre el primer y el último valor singular es grande). $Ax=b$ $\min ||Ax-b||_2$ $A$ $\sigma_1/\sigma_n$

Aquí, tenemos varios métodos para elegir el criterio de detención, y para un método iterativo, recomendaría el criterio de la curva L ya que solo involucra cantidades que ya están disponibles (DESCARGO DE RESPONSABILIDAD: mi asesor fue pionero en este método, por lo que definitivamente estoy sesgado hacia eso). He usado esto con éxito en un método iterativo.

La idea es monitorear la norma residual y la norma de solución , donde es la 'ésima iteración. A medida que itera, esto comienza a dibujar la forma de una L en un diagrama de registro (rho, eta), y el punto en la esquina de esa L es la opción óptima. $\rho_k=||Ax_k-b||_2$ $\eta_k=||x_k||_2$ $x_k$ $k$

Esto le permite implementar un criterio en el que vigila cuando haya pasado la esquina (es decir, mirando el gradiente de ), y luego elija la iteración que se encuentra en la esquina. $(\rho_k,\eta_k)$

La forma en que lo hice implicaba almacenar los últimos 20 iteraciones, y si el gradiente $abs(\frac{\log(\eta_k)-\log(\eta_{k-1})}{\log(\rho_k)-\log(\rho_{k-1})})$

También hay métodos más detallados para encontrar la esquina, y estos funcionan mejor pero requieren almacenar un número significativo de iteraciones. Juega un poco con eso. Si está en matlab, puede usar las herramientas de regularización de la caja de herramientas, que implementa algo de esto (específicamente la función "esquina" es aplicable).

Tenga en cuenta que este enfoque es particularmente adecuado para problemas a gran escala, ya que el tiempo de computación adicional involucrado es minúsculo.

— OscarB
fuente

¡Muchas gracias! Entonces, en el diagrama de loglog (rho, eta) comenzamos desde la derecha de la curva L y terminamos en la parte superior de L, ¿verdad? Simplemente no conozco el principio detrás de este criterio. ¿Puedes explicar por qué siempre se comporta como una curva L y por qué elegimos la esquina?

— Hui Zhang el

| | A x - b | |_{2} = | | e | |_{2}

$||Ax-b||_2=||e||_2$

e

$e$

b_{e x a c t} = b + e

$b_{exact}=b+e$ . Para más análisis ver Hansen, PC, y O'Leary, DP (1993). El uso de la curva L en la regularización de problemas discretos mal planteados. SIAM Journal on Scientific Computing, 14. Tenga en cuenta que acabo de hacer una ligera actualización de la publicación.

— OscarB

@HuiZhang: no siempre es una L. Si la regularización es ambigua, puede ser una doble L, lo que lleva a dos candidatos para la solución, uno con una enfermera gruesa mejor resuelta y el otro con ciertos detalles mejor resueltos. (Y, por supuesto, pueden aparecer más formas complejas).

— Arnold Neumaier

¿La curva L se aplica a problemas mal condicionados donde debería haber una solución única? Es decir, estoy interesado en los problemas Ax = b, donde b se conoce "exactamente" y A es casi singular pero aún técnicamente invertible. Me parece que si usa algo como GMRES, la norma de su conjetura actual de x no cambia demasiado con el tiempo, especialmente después de las primeras pero muchas iteraciones. Me parece que la parte vertical de la curva L ocurre porque no hay una solución única / válida en un problema mal planteado; ¿Esta característica vertical estaría presente en todos los problemas mal condicionados?

— nukeguy

En un punto, alcanzará una línea vertical de este tipo, típicamente porque los errores numéricos en su método de solución resultan en || Ax-b || No disminuye. Sin embargo, tiene razón en que en estos problemas sin ruido la curva no siempre se ve como una L, lo que significa que generalmente tiene algunas esquinas para elegir y elegir una sobre la otra puede ser difícil. Creo que el documento al que hice referencia en mi comentario anterior trata brevemente los escenarios sin ruido.

— OscarB

Criterios de detención para solucionadores lineales iterativos aplicados a sistemas casi singulares

Una mejor manera de definir la convergencia.

Estimando el valor singular más pequeño ϵϵ\epsilon

Notas

Estimando el valor singular más pequeño $\epsilon$