Precondicionador eficiente para Lagrangian Aumentado

Quiero resolver un problema no lineal con restricciones de igualdad no lineales y estoy usando un lagrangiano aumentado con un término de regularización de penalización que, como bien se sabe, estropea el número de condición de mis sistemas linealizados (quiero decir en cada iteración de Newton) . Cuanto mayor es el plazo de penalización, peor es el número de condición. ¿Alguien conocería una forma eficiente de deshacerse de este mal condicionamiento en ese caso específico?

Para ser más específico, estoy usando el clásico lagrangiano aumentado porque tengo muchas restricciones que generalmente pueden ser redundantes. Por lo tanto, es muy conveniente incorporar ciegamente las restricciones directamente en las variables primarias. Probé otros enfoques más sofisticados basados en eliminaciones variables o preacondicionadores eficientes directamente en el sistema KKT pero, debido a la redundancia de restricciones, tengo algunos problemas.

El problema con respecto a las variables se formula como sigue mi Lagrangiano como la forma $\mathbf u =[u_1,\cdots,u_n]$

L (u, λ) := W (u) + ρ λ^{T} c (u) + \frac{ρ}{2} c^{2} (u)

$\mathcal L(\mathbf u,\lambda):= \mathcal W(\mathbf u) + \rho \lambda^T \,c(\mathbf u) + \frac{\rho}{2} c^2(\mathbf u)$

Entonces, generalmente, el objetivo en cada iteración de Newton es resolver un problema de la forma Con (eliminamos el hessian de la restricción) y y la mayúscula está destinada a .

A Δ u = b

$A \Delta u = b$

A (u, ρ) := \nabla_{u}^{2} W (u) + ρ C^{T} (u) C (u)

$A(\mathbf u,\rho): = \nabla_{\mathbf u}^2 \mathcal W(\mathbf u) + \rho C^T(\mathbf u)C(\mathbf u)$

b (u, ρ) := - (\nabla_{u} W (u) + (ρ + λ^{T} c (u)) \nabla_{u} (u))

$b(\mathbf u,\rho) :=- \big(\nabla_{\mathbf u}\mathcal W(\mathbf u) +(\rho +\lambda^Tc(\mathbf u)) \nabla_{\mathbf u}(\mathbf u)\big)$

C

$C$

C (u) := \nabla_{u} c (u)

$C(\mathbf u) := \nabla_{\mathbf u} c(\mathbf u)$

Gracias.

linear-solver preconditioning constrained-optimization

— Tom
fuente

Hola Tom. Bienvenido a Scicomp. Para ayudarnos a responder su pregunta, ¿podría escribir las ecuaciones que está tratando de resolver?

— Paul

¿Te refieres a ?

A Δ u = b

$A\Delta u=b$

— Arnold Neumaier

Ups, lo siento. Si, claro.

— Tom

Respuestas:

Dependiendo de la estructura del problema, puede resolver el sistema Lagrangiano Aumentado mal acondicionado directamente. Por ejemplo, BDDC / FETI-DP puede resolver la elasticidad casi incompresible en forma primaria con una tasa de convergencia independiente de la relación de Poisson (constante por partes en los subdominios, pero con saltos arbitrarios). Del mismo modo, los métodos de cuadrícula múltiple que reproducen exactamente el modo volumétrico pueden tener esta propiedad. Dichos métodos son específicos del problema y, en general, las grandes penalizaciones resultan en sistemas que son difíciles de precondicionar.

Para permitir una mayor flexibilidad en la elección del preacondicionador, recomiendo introducir variables duales explícitas y escribir el sistema de punto de silla más grande

(\begin{matrix} A & C^{T} \\ C & - ρ^{- 1} \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = (\begin{matrix} b \\ 0 \end{matrix})

$\begin{pmatrix}A & C^T \\ C & -\rho^{-1} \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} b \\ 0 \end{pmatrix}$

según lo sugerido por Arnold Neumaier. Este sistema está mucho mejor acondicionado y le permite evaluar con precisión un residuo. Si existe un preacondicionador para algún sistema penalizado (donde ), puede usarlo como preacondicionador de bloque para el sistema de punto de silla de montar. Para un ejemplo de esto, ver Dohrmann y Lehoucq (2006), que condiciona la elasticidad incompresible en forma mixta usando BDDC aplicado a problemas compresibles. Otra clase popular de métodos se basa en la aproximación del complemento Schur usando argumentos de "conmutador aproximado". Hay una gama extremadamente diversa de métodos para resolver problemas de silla de montar, ver Benzi, Golub y Liesen, $A - \tilde\rho C^T C$ $\tilde \rho \le \rho$ $-\rho^{-1} - C A^{-1} C^T$ Solución numérica de problemas de Saddle Point (2005) para una revisión. Si está utilizando PETSc, muchos de los métodos descritos en la revisión anterior se pueden construir utilizando opciones de tiempo de ejecución a través delPCFIELDSPLITcomponente.

Si puede ser más específico sobre la fuente de su problema (qué está minimizando y cuál es la restricción), puedo sugerir referencias más específicas.

— Jed Brown
fuente

¡Los preacondicionadores para el sistema regularizado abren nuevas formas para mí! Sin embargo, necesitaré algo de tiempo para digerir todo eso, podría volver a usted después de un tiempo si no les importa. Muchas gracias a los dos por sus respuestas.

— Tom

Introduzca variables adicionales para los términos de deterioro en la condición KT, y puede encontrar un sistema simétrico más grande que tenga un buen comportamiento numérico, con solo la inversa del factor de penalización que ingresa a la matriz.

Para resolver el sistema mal acondicionado cuando es grande, introduzca y reformule su problema en la forma , , que está genéricamente bien acondicionado. $(A+\rho C^TC)x=b~$ $\rho$ $y=\rho Cx$ $Ax+C^Ty=b$ $Cx-\rho^{-1}y=0$

— Arnold Neumaier
fuente

En general, mis restricciones son de la forma donde generalmente implica muy pocos grados de libertad. Por ejemplo, podemos tener algunas restricciones de proyección como correspondiente a la proyección del punto 3D en el segmento .

c (u) = 0

$c(\mathbf u) = 0$

u

$\mathbf u$

c (x_{s}, x_{1}, x_{2}) = (x_{2} - x_{1}) n

$c(x_s,x_1,x_2)= (x_2-x_1) \mathbf n$

x_{s}

$x_s$

\[x_{1}, x_{2} \]

$x_1,x_2$

— Tom

@Tom: No quise decir el problema no lineal, sino las ecuaciones mal condicionadas con las que terminas. Escriba (editando su pregunta) la forma del sistema lineal que desea resolver y cómo ingresa el parámetro de penalización.

— Arnold Neumaier el

Estoy tratando de descubrir cómo la introducción de variables adicionales funcionaría ... ¿Podrían enviarme una referencia? ¡Muchas gracias!

— Tom

@Tom: ver la respuesta editada.

— Arnold Neumaier

Pero si es grande, entonces y el sistema es muy similar al sistema KKT original, que es indefinido, ¿no?

ρ

$\rho$

ρ^{- 1} \approx 0

$\rho^{-1} \approx 0$

— Tom