¿Por qué los sistemas lineales mal condicionados se pueden resolver con precisión?

Según la respuesta aquí , un número de condición grande (para la resolución lineal del sistema) disminuye el número garantizado de dígitos correctos en la solución de coma flotante. Las matrices de diferenciación de orden superior en los métodos pseudoespectrales suelen estar muy mal condicionadas. ¿Por qué es entonces que siguen siendo métodos muy precisos?

Entiendo que la baja precisión que proviene de las matrices mal acondicionadas es solo un valor garantizado , pero aún así me pregunto por qué las matrices mal acondicionadas se resuelven con precisión por métodos directos en la práctica, por ejemplo, las LCOLcolumnas de la Tabla 3.1 en la página 11 de Wang et al., MÉTODO DE COLOCACIÓN BIEN CONDICIONADO UTILIZANDO UNA MATRIZ DE INTEGRACIÓN PSEUDOSPECTRAL , SIAM J. Sci. Comput., 36 (3) .

Agregado después de mi respuesta inicial:

Ahora me parece que el autor del artículo al que se hace referencia está dando números de condición (aparentemente números de condición de 2 normas pero posiblemente números de condición de norma infinita) en la tabla al tiempo que proporciona errores absolutos máximos en lugar de errores relativos normativos o errores relativos máximos relativos a elementos ( estas son todas medidas diferentes.) Tenga en cuenta que el error relativo máximo por elemento no es lo mismo que el error relativo de la norma infinita. Además, los errores en la tabla son relativos a la solución exacta al problema del valor límite original de la ecuación diferencial más que al sistema lineal de ecuaciones discretizado. Por lo tanto, la información proporcionada en el documento realmente no es adecuada para su uso con el error vinculado en función del número de condición.

Sin embargo, en mi réplica de los cálculos, veo situaciones en las que el error de la norma de infinito relativo (o error relativo de dos normas) es sustancialmente menor que el límite establecido por el número de condición de norma de infinito (número de condición de 2 normas respectivamente). A veces solo tienes suerte.

Utilicé el paquete DMSUITE MATLAB y resolví el problema de ejemplo de este artículo utilizando el método pseudoespecífico con polinomios de Chebyshev. Mis números de condición y mis errores absolutos máximos fueron similares a los reportados en el documento.

También vi errores relativos a la norma que fueron algo mejores de lo que cabría esperar según el número de condición. Por ejemplo, en el problema de ejemplo con , usando N = 1024 , obtengo$\epsilon=0.01$$N=1024$

cond (A, 2) = 7.9e + 8

cond (A, inf) = 7.8e + 8

norma (u-uexact, 2) / norma (uexact, 2) = 3.1e-12

norma (u-uexact, inf) / norma (uexact, inf) = 2.7e-12

Parece que la solución es buena para aproximadamente 11-12 dígitos, mientras que el número de condición es del orden de 1e8.

Sin embargo, la situación con errores de elementos sabios es más interesante.

max (abs (u-uexact)) = 2.7e-12

Eso todavía se ve bien.

max (abs ((u-uexact) ./ uexact) = 6.1e + 9

Wow: hay un error relativo muy grande en al menos un componente de la solución.

¿Que pasó? La solución exacta de esta ecuación tiene componentes que son pequeños (por ejemplo, 1.9e-22) mientras que la solución aproximada toca fondo con un valor mucho mayor de 9e-14. Esto está oculto por la medida de error relativo de la norma (ya sea la norma 2 o la norma de infinito) y solo se hace visible cuando se miran los errores relativos de elementos y se toma el máximo.

Mi respuesta original a continuación explica por qué puede obtener un error relativo de la norma en la solución que es menor que el límite dado por el número de condición.

---

Como ha notado en la pregunta, el número de condición, , de una matriz no singular da un error relativo en el peor de los casos vinculado a la solución de un sistema perturbado de ecuaciones. Es decir, si resolvemos A ( x + Δ x ) = b + Δ b exactamente y resolvemos A x = b exactamente, entonces$\kappa(A)$$A(x+\Delta x)=b+\Delta b$$Ax=b$

$\frac{\| \Delta x \|}{\| x \|} \leq \kappa(A) \frac{\| \Delta b \|}{\| b \|}$

Los números de condición se pueden calcular con respecto a una variedad de normas, pero a menudo se usa el número de condición de dos normas, y ese es el número de condición utilizado en el documento al que se refiere.

El error del peor caso se produce cuando es un vector singular izquierda de A correspondiente al valor singular más pequeño de A . El mejor de los casos se produce cuando Δ b es un vector singular izquierda de A correspondiente al valor singular más grande de A . Cuando Δ b es aleatorio, debe observar las proyecciones de Δ b en todos los vectores singulares izquierdos de A y los valores singulares correspondientes. Dependiendo del espectro de A , las cosas pueden ir muy mal o muy bien. $\Delta b$$A$$A$$\Delta b$$A$$A$$\Delta b$$\Delta b$$A$$A$

Considere dos matrices , ambas con el número de condición de 2 normas 1.0 × 10 10 . La primera matriz tiene los valores singulares 1 , 1 × 10 - 10 , … , 1 × 10 - 10 . La segunda matriz tiene valores singulares 1 , 1 , ... , 1 , 1 × 10 - 10 . $A$$1.0 \times 10^{10}$$1$$1 \times 10^{-10}$$\ldots$$1 \times 10^{-10}$$1$$1$$\ldots$$1$$1 \times 10^{-10}$

En el primer caso, es poco probable que una perturbación aleatoria esté en la dirección del primer vector singular izquierdo, y es más probable que esté cerca de uno de los vectores singulares con valor singular . Por lo tanto, el cambio relativo en la solución es probable que sea muy grande. En el segundo caso, casi cualquier perturbación estará cerca en dirección a un vector singular con valor singular 1 , y el cambio relativo en la solución será pequeño. $1 \times 10^{-10}$$1$

PD (agregado más tarde después de regresar de la clase de yoga ...)

La fórmula para la solución de es$A\Delta x = \Delta b$

$\Delta x = V \Sigma^{-1} U^{T} \Delta b=\sum_{i=1}^{n} \frac{U_{i}^{T}\Delta b}{\sigma_{i}} V_{i}$

Por el teorema de Pitágoras,

$\| \Delta x \|_{2}^{2}= \sum_{i=1}^{n} \left( \frac{U_{i}^{T}\Delta b}{\sigma_{i}} \right)^{2}$

Si mantenemos , entonces esta suma se maximiza cuando Δ b = U n y se minimiza cuando Δ b = U 1 .$\| \Delta b \|_{2}=1$$\Delta b=U_{n}$$\Delta b=U_{1}$

En la situación considerada aquí, es el resultado de errores de redondeo aleatorio, por lo que los valores de U T i Δ b deben ser aproximadamente de la misma magnitud. Los términos con valores más pequeños de σ i contribuirán mucho al error, mientras que los términos con valores más grandes de σ i no contribuirán mucho. Dependiendo del espectro, esto podría ser mucho más pequeño que el peor de los casos. $\Delta b$$U_{i}^{T}\Delta b$$\sigma_{i}$$\sigma_{i}$

tl; dr Informaron un número de condición, no necesariamente el número de condición correcto para la matriz, porque hay una diferencia.

Esto es específico de la matriz y del vector del lado derecho. Si nos fijamos en la documentación*getrs , dice que el error de reenvío es Aquícond(A,x)no es exactamente el número de condición habitualκ∞(A), sino más bien cond(A,x)=‖| A -

$$\frac{\|x-x_0\|_\infty}{\|x\|_\infty} \lesssim \mathrm{cond}(A,x)u \leq \mathrm{cond}(A)u.$$ $\mathrm{cond}(A,x)$$\kappa_\infty(A)$ (Aquí dentro de la norma, estos son valores absolutos por componentes). Ver, por ejemplo,refinamiento iterativo para sistemas lineales y LAPACKpor Higham, o laprecisión y estabilidad de algoritmos numéricos deHigham(7.2). $$\mathrm{cond}(A,x) = \frac{\||A^{-1}||A||x|\|_\infty}{\|x\|_\infty},\\ \mathrm{cond}(A) = \||A^{-1}||A|\|.$$

Para su ejemplo, tomé un operador diferencial pseudoespectral para un problema similar con , y de hecho hay una gran diferencia entre ‖ | A - 1 | El | A | ‖ Y κ ∞ ( A ) , calculé 7 × 10 3 y 2.6 × 10 $n=128$$\||A^{-1}||A|\|$$\kappa_\infty(A)$$7\times 10^3$$2.6\times 10^7$, que es suficiente para explicar la observación de que esto sucede para todos los lados derechos, porque los órdenes de magnitud coinciden aproximadamente con lo que se ve en la Tabla 3.1 (3-4 órdenes de mejores errores). Esto no funciona cuando intento la misma por sólo una matriz mal condicionado al azar, por lo que tiene que ser una propiedad de .$A$

Un ejemplo explícito para el que los dos números de condición no coinciden, que tomé de Higham (7.17, p.124), debido a Kahan es Otro ejemplo que encontré es solo la matriz de Vandermonde simpleconbaleatorio. Paséy algunas otras matrices mal acondicionadas también producen este tipo de resultado, comoy.

$$\begin{pmatrix}2&-1&1\\-1&\epsilon&\epsilon\\1&\epsilon&\epsilon\end{pmatrix}, \qquad \begin{pmatrix}2+2\epsilon\\-\epsilon\\\epsilon\end{pmatrix}.$$ [1:10]$b$MatrixDepot.jltriwmoler

Esencialmente, lo que está sucediendo es que cuando analiza la estabilidad de resolver sistemas lineales con respecto a las perturbaciones, primero debe especificar qué perturbaciones está considerando. Al resolver sistemas lineales con LAPACK, este error considera las perturbaciones de componentes en , pero no las perturbaciones en b . Por lo tanto, esto es diferente de lo habitual κ ( A ) = ‖ A - 1 ‖ ‖ A ‖ , que considera las perturbaciones normales en A y b .$A$$b$$\kappa(A) = \|A^{-1}\|\|A\|$$A$$b$

$O(u)$$\kappa(A)\ll 1/u$$\kappa(A)u$

?getrs(A + E)x = b$E$$A$$b$$b$

$$\mathrm{cond}(A,x) \approx \mathrm{cond}(A) \ll \kappa(A).$$

function main2(m=128)
    A = matrixdepot("chebspec", m)^2
    A[1,:] = A[end,:] = 0
    A[1,1] = A[end,end] = 1
    best, worst = Inf, -Inf
    for k=1:2^5
        b = randn(m)
        x = A \ b
        x_exact = Float64.(big.(A) \ big.(b))
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        best, worst = min(best, err), max(worst, err)
    end
    @printf "Best relative error:       %.3e\n" best
    @printf "Worst relative error:      %.3e\n" worst
    @printf "Predicted error κ(A)*ε:    %.3e\n" cond(A, Inf)*eps()
    @printf "Predicted error cond(A)*ε: %.3e\n" norm(abs.(inv(A))*abs.(A), Inf)*eps()
end

julia> main2()
Best relative error:       2.156e-14
Worst relative error:      2.414e-12
Predicted error κ(A)*ε:    8.780e-09
Predicted error cond(A)*ε: 2.482e-12

$$\mathrm{cond}(A, x) \ll \mathrm{cond}(A) \approx \kappa(A).$$ $A$$1:10$$x$$\mathrm{cond}(A,x)$$\kappa(A)$$x$$x_i = i^a$$a$

function main4(m=10)
    A = matrixdepot("vand", m)
    lu = lufact(A)
    lu_big = lufact(big.(A))
    AA = abs.(inv(A))*abs.(A)
    for k=1:12
        # b = randn(m) # good case
        b = (1:m).^(k-1) # worst case
        x, x_exact = lu \ b, lu_big \ big.(b)
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        predicted = norm(AA*abs.(x), Inf)/norm(x, Inf)*eps()
        @printf "relative error[%2d]    = %.3e (predicted cond(A,x)*ε = %.3e)\n" k err predicted
    end
    @printf "predicted κ(A)*ε      = %.3e\n" cond(A)*eps()
    @printf "predicted cond(A)*ε   = %.3e\n" norm(AA, Inf)*eps()
end

Caso promedio (casi 9 órdenes de magnitud mejor error):

julia> T.main4()
relative error[1]     = 6.690e-11 (predicted cond(A,x)*ε = 2.213e-10)
relative error[2]     = 6.202e-11 (predicted cond(A,x)*ε = 2.081e-10)
relative error[3]     = 2.975e-11 (predicted cond(A,x)*ε = 1.113e-10)
relative error[4]     = 1.245e-11 (predicted cond(A,x)*ε = 6.126e-11)
relative error[5]     = 4.820e-12 (predicted cond(A,x)*ε = 3.489e-11)
relative error[6]     = 1.537e-12 (predicted cond(A,x)*ε = 1.729e-11)
relative error[7]     = 4.885e-13 (predicted cond(A,x)*ε = 8.696e-12)
relative error[8]     = 1.565e-13 (predicted cond(A,x)*ε = 4.446e-12)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

$a=1,\ldots,12$

julia> T.main4()
relative error[ 1]    = 0.000e+00 (predicted cond(A,x)*ε = 6.608e-13)
relative error[ 2]    = 1.265e-13 (predicted cond(A,x)*ε = 3.382e-12)
relative error[ 3]    = 5.647e-13 (predicted cond(A,x)*ε = 1.887e-11)
relative error[ 4]    = 8.895e-74 (predicted cond(A,x)*ε = 1.127e-10)
relative error[ 5]    = 4.199e-10 (predicted cond(A,x)*ε = 7.111e-10)
relative error[ 6]    = 7.815e-10 (predicted cond(A,x)*ε = 4.703e-09)
relative error[ 7]    = 8.358e-09 (predicted cond(A,x)*ε = 3.239e-08)
relative error[ 8]    = 1.174e-07 (predicted cond(A,x)*ε = 2.310e-07)
relative error[ 9]    = 3.083e-06 (predicted cond(A,x)*ε = 1.700e-06)
relative error[10]    = 1.287e-05 (predicted cond(A,x)*ε = 1.286e-05)
relative error[11]    = 3.760e-10 (predicted cond(A,x)*ε = 1.580e-09)
relative error[12]    = 3.903e-10 (predicted cond(A,x)*ε = 1.406e-09)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

$$A = \begin{pmatrix} 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1 \\ \epsilon&0&0&0 \end{pmatrix}.$$ $\|A\|=1$$\|A^{-1}\|=\epsilon^{-1}$$\kappa_\infty(A) = \epsilon^{-1}$$|A^{-1}| = A^{-1} = |A|^{-1}$$\mathrm{cond}(A) = 1$$Ax=b$$\kappa_\infty(A)$

$\mathrm{cond}(A)\ll \kappa(A)$

A = matrixdepot("kahan", 48)
κ, c = cond(A, Inf), norm(abs.(inv(A))*abs.(A), Inf)
@printf "κ=%.3e c=%.3e ratio=%g\n" κ c (c/κ)

κ=8.504e+08 c=4.099e+06 ratio=0.00482027