Comprender el costo del método adjunto para la optimización con restricción de pde

Estoy tratando de entender cómo funciona el método de optimización basado en adjuntos para una optimización restringida PDE. Particularmente, estoy tratando de entender por qué el método adjunto es más eficiente para problemas donde el número de variables de diseño es grande, pero el "número de ecuaciones es pequeño".

Lo que yo entiendo:

Considere el siguiente problema de optimización restringida de PDE:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

donde es una función objetivo (suficientemente continua) de un vector de variables de diseño y un vector de variables de campo incógnitas que dependen de las variables de diseño, y es la forma residual del PDE. $I$ $\beta$ $u(\beta)$ $R(u)$

Claramente, podemos las primeras variaciones de I y R como

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

Introduciendo un vector de multiplicadores de lagrange , la variación en la función objetivo se puede escribir como $\lambda$

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

Al reorganizar los términos, podemos escribir:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

Por lo tanto, si somos capaces de resolver modo que $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

Luego se evalúa el gradiente solo en términos de las variables de diseño . $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

Por lo tanto, un algoritmo de optimización basado en adjuntos recorrería los siguientes pasos:

Dadas las variables de diseño actuales $\beta$
Resolver para las variables de campo (del PDE) $u$
Resolver para los multiplicadores de lagrange (de la ecuación adjunta) $\lambda$
Calcular gradientes $\frac{\partial I}{\partial \beta}$
Actualizar variables de diseño $\beta$

Mi pregunta

¿Cómo mejora este 'truco' adjunto el costo de la optimización por iteración en el caso en que el número de variables de diseño es grande? Escuché que el costo de la evaluación de gradiente para el método adjunto es 'independiente' del número de variables de diseño. Pero, ¿cómo es exactamente esto cierto?

Estoy seguro de que hay algo muy obvio que de alguna manera estoy pasando por alto.

optimization pde

— Paul
fuente

Por cierto, el multiplicador de Lagrange generalmente se agrega al objetivo funcional, no a la variación; así . Establecer la derivada con respecto a en cero produce la ecuación adjunta, e insertar esto (y la solución de la ecuación de estado ) en la derivada con respecto a produce el gradiente. Si comienza con la formulación débil del PDE, las cosas se vuelven aún más simples: simplemente inserte el multiplicador de Lagrange en lugar de la función de prueba. No hay necesidad de la forma fuerte o la integración parcial en ningún lado.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Christian Clason

La parte más cara de cualquier simulación es la fase de resolución. Al usar el adjunto obtienes el gradiente en dos soluciones, mucho más barato en comparación con las diferencias finitas donde al menos necesitas n + 1 soluciones, siendo n el número de parámetros libres en tu modelo.

— stali

Respuestas:

¿Cómo mejora este 'truco' adjunto el costo de la optimización por iteración en el caso en que el número de variables de diseño es grande?

Pienso en el costo desde una perspectiva de álgebra lineal. (Ver estas notas de Stephen G. Johnson , que encuentro más intuitivas que el enfoque multiplicador de Lagrange). El enfoque hacia adelante equivale a resolver las sensibilidades directamente:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

que implica resolver un sistema lineal para cada parámetro en el vector , luego evaluar $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

donde denota una derivada total y denota una derivada parcial. $\mathrm{d}$ $\partial$

El enfoque adjunto señala que

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

entonces la variable adjunta (multiplicador de Lagrange) se puede definir por $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

que corresponde a la ecuación adjunta

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

Esta reagrupación de términos requiere solo una solución lineal, en lugar de una solución lineal para cada parámetro, lo que hace que la evaluación adjunta sea barata para el caso de muchos parámetros.

Escuché que el costo de la evaluación de gradiente para el método adjunto es 'independiente' del número de variables de diseño. Pero, ¿cómo es exactamente esto cierto?

No es totalmente independiente; presumiblemente, el costo de evaluar y aumentará con el número de parámetros. Sin embargo, las soluciones lineales seguirán siendo del mismo tamaño, siempre que el tamaño de no cambie. La suposición es que las soluciones son mucho más caras que las evaluaciones de funciones. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Geoff Oxberry
fuente

En pocas palabras, la ventaja proviene del hecho de que para calcular las derivadas del objetivo reducido , realmente no es necesario conocer la derivada de con respecto a como un objeto separado, pero solo esa parte del mismo que conduce a variaciones en . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

Permítanme cambiar a una notación que estoy un poco más cómodo con: ( ser el variable de diseño, siendo la variable de estado, y siendo el objetivo). Digamos que es lo suficientemente bueno como para aplicar el teorema de la función implícita, por lo que la ecuación tiene una solución única que es continuamente diferenciable con respecto a , y la derivada viene dado por la solución de ( y son las derivadas parciales) .

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

Esto significa que puede definir el objetivo reducido , que también es diferenciable (si es). Una forma de caracterizar el gradiente es a través de derivadas direccionales (por ejemplo, calcular todas las derivadas parciales con respecto a una base del espacio de diseño). Aquí, la derivada direccional en la dirección viene dada por la regla de la cadena como Si es agradable, lo único difícil de calcular es para dada . Esto se puede hacer multiplicando con $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ desde la derecha y resolviendo para (que permite el teorema de la función implícita), es decir, calcular y conectando esta expresión en . En la optimización restringida por PDE, esto equivale a resolver un PDE linealizado para cada vector base del espacio de diseño.

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

Sin embargo, si encontramos un operador tal que entonces este debe ser el gradiente deseado. Mirando , podemos escribir (con siendo el operador adjunto), por lo que todo lo que necesitamos para calcular es . Usando eso , esto se puede hacer usando , es decir, computando y estableciendo En la optimización restringida por PDE, $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ suele ser algún tipo de residuo, y la computación implica la resolución de un PDE adjunto (lineal) único , independiente de la dimensión del espacio de diseño. (De hecho, esto incluso funciona para parámetros distribuidos, es decir, si es una función en algún espacio de Banach de dimensión infinita, donde el primer enfoque es inviable).

λ

$\lambda$

u

$u$

— Christian Clason
fuente