Tamaño de paso de descenso de gradiente adaptable cuando no puede hacer una búsqueda de línea

Tengo una función objetivo depende de un valor , donde es la solución para un PDE. Estoy optimizando por gradiente de descenso en la condición inicial de la PDE: . Es decir, actualizo y luego tengo que integrar el PDE para calcular mi residual. Eso significa que, si tuviera que hacer una búsqueda de línea para el tamaño del paso de descenso del gradiente (llámelo ), para cada valor potencial de tendría que integrar el PDE nuevamente. $E$ $\phi(x, t = 1.0)$ $\phi(x, t)$ $E$ $\phi(x, t = 0.0)$ $\phi(x, t = 0.0)$ $\alpha$ $\alpha$

En mi caso eso sería prohibitivamente costoso. ¿Hay otra opción para el tamaño de paso de descenso de gradiente adaptativo?

No solo estoy buscando esquemas de principios matemáticos aquí (aunque, por supuesto, eso es mejor si algo existe), sino que estaría contento con cualquier cosa que generalmente sea mejor que un tamaño de paso estático.

¡Gracias!

optimization pde conjugate-gradient

— NLi10Me
fuente

No creo que quiera modificar la forma en que integro el PDE en este momento, ya que para mí eso sería una gran reescritura de código. Además, no es tanto que el PDE sea complicado, sino que tengo que resolverlo en una cuadrícula muy densa en el espacio-tiempo, ya que necesito una precisión numérica muy alta.

— NLi10Me

Por otro lado, el método BB (con el que no estaba familiarizado) parece bastante bueno; todo lo que tengo que hacer es realizar un seguimiento del estado y el gradiente de la iteración anterior y obtengo una aproximación de segundo orden ... eso parece muy bueno. Sin embargo, la derivación asume una cuadrática convexa y mi problema casi con certeza no lo es. Sin embargo, también estoy encontrando (y contento con) mínimos locales más que globales. ¿Sabes qué tan bien ha funcionado BB en problemas de muy alta dimensión?

— NLi10Me

Supongo que lo que quise decir sobre los mínimos locales es que, en el vecindario de un mínimo local, ¿no hay ninguna función aproximadamente cuadrática? Creo que mi estado inicial está suficientemente cerca de un mínimo, ya que en muchos casos obtengo una convergencia suave incluso con el tamaño de paso estático. Entonces, a pesar de que es de dimensiones muy altas y, en general, si considera todo el espacio de búsqueda, el problema es no convexo / no cuadrático, ¿podría BB ser una buena opción sin búsqueda de línea?

ϕ^{(0)} (x, t = 0.0)

$\phi^{(0)}(x, t = 0.0)$

— NLi10Me

Los otros "ingredientes" para son datos de imágenes experimentales. intenta deformar una imagen para que "coincida" con la otra (medida por alguna coincidencia funcional como la norma L2 integrada sobre vóxeles). Para algunos pares de imágenes, obtengo una convergencia suave con (mi elección actual de) tamaño de paso estático. Para otros pares de imágenes, obtengo muchas oscilaciones. El sistema tiene que estar completamente automatizado, por lo que no puedo volver atrás y editar manualmente el tamaño del paso para pares de imágenes problemáticas.

E

$E$

ϕ (x, t = 1.0)

$\phi(x, t = 1.0)$

— NLi10Me

Bien, tengo que resolver el sistema adjunto para obtener el gradiente (que es un sistema más desagradable y lleva más tiempo). Ok, creo que intentaré BB con búsqueda de línea de retroceso. Gracias muy mucho por el consejo; mis asesores suelen ser difíciles de contactar y muchos de ellos no están interesados tanto en la implementación como en el modelo. Estoy descubriendo que los métodos numéricos son el componente crucial para demostrar si un modelo es bueno o no en primer lugar, así que gracias nuevamente, realmente lo aprecio.

— NLi10Me

Comenzaré con una observación general: la información de primer orden (es decir, usando solo gradientes, que codifican la pendiente) solo puede brindarle información direccional: puede decirle que el valor de la función disminuye en la dirección de búsqueda, pero no por cuánto tiempo . Para decidir qué tan lejos ir a lo largo de la dirección de búsqueda, necesita información adicional (el descenso del gradiente con longitudes de paso constantes puede fallar incluso en problemas cuadráticos convexos) Para esto, básicamente tienes dos opciones:

Use información de segundo orden (que codifica la curvatura), por ejemplo, usando el método de Newton en lugar del descenso de gradiente (para el cual siempre puede usar la longitud de paso suficientemente cerca del minimizador). $1$
Prueba y error (por lo que, por supuesto, me refiero a usar una búsqueda de línea adecuada como Armijo).

Si, mientras escribe, no tiene acceso a segundas derivadas, y evaluar la función de obediencia es muy costoso, su única esperanza es comprometerse: use suficiente información aproximada de segundo orden para obtener una buena longitud de paso de candidato, de modo que una línea la búsqueda solo necesita evaluaciones (es decir, como máximo un múltiplo constante (pequeño) del esfuerzo que necesita para evaluar su gradiente). $\mathcal{O}(1)$

Una posibilidad es utilizar las longitudes de paso Barzilai - Borwein (véase, por ejemplo, Fletcher: sobre el método Barzilai-Borwein . Optimización y control con aplicaciones, 235–256, Appl. Optim., 96, Springer, Nueva York, 2005 ). La idea es utilizar una aproximación de diferencia finita de la curvatura a lo largo de la dirección de búsqueda para obtener una estimación del tamaño del paso. Específicamente, elija arbitrario, establezca y luego para : $\alpha_0>0$ $g^0:=\nabla f(x^0)$ $k=0,...$

Establezca y $s^k = -\alpha_k^{-1} g^k$ $x^{k+1}=x^k+s^k$
Evalúe y establezca $g^{k+1}=\nabla f(x^{k+1})$ $y^k = g^{k+1}-g^{k}$
Establecer $\alpha_{k+1} = \frac{(y^k)^Ty^k}{(y^k)^Ts^k}$

Se puede demostrar que esta opción converge (en la práctica muy rápidamente) para funciones cuadráticas, pero la convergencia no es monótona (es decir, el valor de la función puede ser mayor que , pero solo de vez en cuando; vea el diagrama en la página 10 en el artículo de Fletcher). Para las funciones no cuadráticas, debe combinar esto con una búsqueda de línea, que debe modificarse para tratar la no monotonicidad. Una posibilidad es elegir (por ejemplo, retrocediendo) de modo que donde es el parámetro típico de Armijo y $f(x^{k+1})$ $f(x^k)$ $\sigma_k \in (0,\alpha_k^{-1})$

f (x^{k} - σ_{k} g^{k}) \leq max_{max (k - M, 1) \leq j \leq k} f (x^{j}) - γ σ_{k} (g^{k})^{T} g^{k},

$f(x^k - \sigma_k g^k) \leq \max_{\max(k-M,1)\leq j\leq k} f(x^j) - \gamma \sigma_k (g^k)^Tg^k,$

γ \in (0, 1)

$\gamma\in(0,1)$

M

$M$ controla el grado de monotonicidad (p. ej., ). También hay una variante que usa valores de gradiente en lugar de valores de función, pero en su caso el gradiente es aún más costoso de evaluar que la función, por lo que no tiene sentido aquí. (Nota: por supuesto, puede intentar aceptar ciegamente las longitudes de los pasos BB y confiar en su suerte, pero si necesita algún tipo de solidez, como escribió en sus comentarios, sería una muy mala idea).

M = 10

$M=10$

Un enfoque alternativo (y, en mi opinión, mucho mejor) sería utilizar esta aproximación de diferencia finita ya en el cálculo de la dirección de búsqueda; Esto se llama un método cuasi-Newton . La idea es construir una aproximación incremental de la de Hesse utilizando diferencias de gradientes. Por ejemplo, podría tomar (la matriz de identidad) y para resolver y establece con como arriba y . (Esto se llama actualización Broyden $\nabla^2 f(x^k)$ $H_0=\mathrm{Id}$ $k=0,\dots$

\begin{matrix} (1) & H_{k} s^{k} = - g^{k}, \end{matrix}

$H_{k}s^{k} = -g^{k},\label{cc1}\tag{1}$

H_{k + 1} = H_{k} + \frac{(y^{k} - H_{k} s^{k})^{T} (s^{k})^{T}}{(s^{k})^{T} s^{k}}

$H_{k+1} = H_k + \frac{(y^k-H_ks^k)^T(s^k)^T}{(s^k)^Ts^k}$

y^{k}

$y^k$

x^{k + 1} = x^{k} + s^{k}

$x^{k+1} = x^k +s^k$ y rara vez se usa en la práctica; Una actualización mejor pero un poco más complicada es la actualización BFGS , para lo cual, y más información, me refiero al libro de Optimización numérica de Nocedal y Wright .) La desventaja es que a) esto requeriría resolver un sistema lineal en cada paso (pero solo del tamaño de lo desconocido, que en su caso es una condición inicial, por lo tanto, el esfuerzo debe dominarse resolviendo PDE para obtener el gradiente; también, existen reglas de actualización para aproximaciones de la arpillera inversa , que solo requieren calcular una matriz única -vector producto) yb) todavía necesita una búsqueda de línea para garantizar la convergencia ...

Afortunadamente, en este contexto existe un enfoque alternativo que hace uso de cada evaluación de la función. La idea es que para simétrico y positivo definido (que está garantizado para la actualización BFGS), resolver es equivalente a minimizar el modelo cuadrático En un método de región de confianza , lo haría con la restricción adicional que , donde es un radio de región de confianza elegido adecuadamente (que desempeña el papel de la longitud del paso ). La idea clave ahora es elegir este radio de forma adaptativa, en función del paso calculado. Específicamente, miras la relación $H_k$ $\eqref{cc1}$

q_{k} (s) = \frac{1}{2} s^{T} H_{k} s + s^{T} g^{k} .

$q_k(s) = \frac12 s^T H_k s + s^T g^k.$

‖ s ‖ \leq Δ_{k}

$\|s\| \leq \Delta_k$

Δ_{k}

$\Delta_k$

σ_{k}

$\sigma_k$

ρ_{k} := \frac{f (x^{k}) - f (x^{k} + s^{k})}{f (x^{k}) - q_{k} (s^{k})}

$\rho_k := \frac{f(x^k)-f(x^k+s^k)}{f(x^k)-q_k(s^k)}$ de la reducción real y prevista del valor de la función. Si es muy pequeño, su modelo era malo y descarta e intenta nuevamente con . Si está cerca de , su modelo es bueno y configura y aumenta . De lo contrario, simplemente establezca y deje solo . Para calcular el minimizador real de

ρ_{k}

$\rho_k$

s^{k}

$s^k$

Δ_{k + 1} < Δ_{k}

$\Delta_{k+1}<\Delta_k$

ρ_{k}

$\rho_k$

1

$1$

x^{k + 1} = x^{k} + s^{k}

$x^{k+1}=x^k+s^k$

Δ_{k + 1} > Δ_{k}

$\Delta_{k+1}>\Delta_k$

x^{k + 1} = x^{k} + s^{k}

$x^{k+1}=x^k+s^k$

Δ_{k}

$\Delta_k$

s^{k}

$s^k$

min_{‖ s ‖ \leq Δ_{k}} q_{k} (s)

$\min_{\|s\|\leq \Delta_k} q_k(s)$ , existen varias estrategias para evitar tener que resolver el problema de optimización con restricciones completas; mi favorito es el método de CG truncado de Steihaug . Para más detalles, nuevamente me refiero a Nocedal y Wright.

— Christian Clason
fuente

Ahora estoy mirando esto nuevamente y me doy cuenta de que tengo una pregunta. En el paso tres para el método BB, tiene ; donde y . El numerador y el denominador en la expresión para parecen productos internos. En mi caso, , donde es un espacio vectorial con una métrica riemanniana no trivial: K. Es decir, . ¿Afecta eso la definición de ?

α_{k + 1} = \frac{(y^{k})^{T} y^{k}}{(y^{k})^{T} s^{k}}

$\alpha_{k+1} = \frac{(y^k)^Ty^k}{(y^k)^Ts^k}$

y^{k} = g^{k + 1} - g^{k}

$y^{k} = g^{k+1} - g^k$

s^{k} = - α_{k}^{- 1} g^{k}

$s^k = -\alpha_k^{-1}g^k$

α_{k + 1}

$\alpha_{k+1}$

g^{k} \in V^{*}

$g^k \in V^*$

V^{*}

$V^*$

⟨ g^{k}, g^{k} ⟩_{V^{*}} = ⟨ g^{k}, K g^{k} ⟩_{L_{2}}

$\langle g^k, g^k \rangle _{V^*} = \langle g^k, Kg^k \rangle_{L_2}$

α_{k + 1}

$\alpha_{k+1}$

— NLi10Me

Sí, si tiene una estructura de espacio vectorial no trivial, debe respetarla en los algoritmos. En particular, debe distinguir entre productos internos de dos funciones en el mismo espacio (por ejemplo, e ) y productos de dualidad entre una función en el espacio y una en el espacio dual (por ejemplo, e ): para este último, primero debe incluir el mapeo de Riesz para convertirlo en un producto interno. (Esto puede interpretarse como preacondicionamiento).

y^{k}

$y^k$

y^{k}

$y^k$

s^{k}

$s^k$

y^{k}

$y^k$

— Christian Clason

Dr. Clason, enviaré un artículo al ISBI 2017 que detalla algunos experimentos que he realizado utilizando el método de búsqueda de línea BB + para una tarea de registro de imágenes difeomorfas. ¿Te gustaría ser incluido como autor en el manuscrito? Todavía no lo he escrito, pero tengo la mayoría de los experimentos completos o en curso. Por favor hagamelo saber.

— NLi10Me

@ NLi10Me Gracias por la amable oferta, pero no he hecho nada que merezca la coautoría: todo lo que escribí es material de libros de texto estándar. Si lo siente con firmeza, puede agradecerme por "comentarios útiles sobre (lo que sea que haya ayudado)", pero ni siquiera eso sería necesario. ¡Saber que lo que escribí fue útil es suficiente!

— Christian Clason el

Lo sentimos, tienes razón, eso es un error tipográfico - corregido! (La condición de Armijo a menudo se escribe como , donde es la dirección de búsqueda, no necesariamente la negativa gradiente - y el tamaño del paso, lo que debería aclarar lo que está sucediendo.)

f (x + σ s) - f (x) \leq γ \nabla f (x)^{T} (σ s)

$f(x+\sigma s) - f(x) \leq \gamma\nabla f(x)^T(\sigma s)$

s

$s$

σ

$\sigma$

— Christian Clason