Sensibilidad de BFGS a aproximaciones iniciales de Hesse

Estoy tratando de implementar el método Broyden-Fletcher-Goldfarb-Shanno para encontrar el mínimo de una función. Necesito dos conjeturas iniciales y y una aproximación inicial de la matriz de Hesse . Los únicos requisitos que encuentro para es que si el Hessian es simétrico positivo definido, también debería . Al mirar wikipedia, veo que una aproximación inicial típica es (la matriz de identidad). ¿Es esto siempre una buena inicial ? ¿Hay alguna razón por la que quiera elegir otra cosa que sea ? ¿Otras opciones de B, que satisfacen las mismas propiedades de la matriz, afectarían en gran medida la convergencia del método? $x_{-1}$ $x_0$ $B_0$ $B_0$ $B_0$ $B_0=I$ $B_0$ $I$

optimization algorithms

— Paul
fuente

Si usted tiene una aproximación de Hesse justificada, es mejor usarlo en lugar de lo arbitrario $B_0=I$ .

$x^*$ $r>0$ $r+1$ $r+1$ $q=\|B_0^{-1}f''(x^*)-G\|$ $<1$ $r$ $G$ de la matriz de identidad. Por lo tanto, tratar de hacer esto pequeño es muy valioso. (Esto es equivalente a preacondicionar el sistema). El factor de convergencia mejora con el tiempo y finalmente se acerca a cero (convergencia superlineal), pero en muchos problemas reales (especialmente los de alta dimensión), uno nunca hace suficientes iteraciones para alcanzar el régimen superlinear. Por lo tanto, la velocidad inicial es bastante importante.

Un caso importante es cuando se resuelven problemas de mínimos cuadrados no lineales (minimizar ), donde la aproximación de Gauss-Newton de la arpillera inicial puede ser calculado sin la necesidad de segundas derivadas. Su uso hace que el método BFGS sea afín invariante, es decir, invariante bajo transformaciones lineales de como el método de Newton, que generalmente es muy beneficioso. $\|F(x)\|_2^2$ $B_0=F'(x_0)^TF'(x_0)$ $x$

Otro caso importante es cuando resuelve una secuencia de problemas relacionados. A menudo, reiniciar el solucionador con la aproximación hessiana final del problema anterior reduce significativamente el número de iteraciones necesarias.

— Arnold Neumaier
fuente

Si se espera que el hessian sea simétrico positivo definido, cualquier matriz simétrica positiva definida todavía conducirá a la convergencia, pero la tasa de convergencia se basa en qué tan cerca parece al hessiano.

B_{0}

$B_0$

B_{0}

$B_0$

— Paul

No, eventualmente, BFGS se olvida de la matriz inicial, por lo que la convergencia como siempre tiene el mismo orden. Pero eso, por supuesto, no es interesante porque nunca haces infinitos pasos.

k \to \infty

$k\rightarrow \infty$

— Wolfgang Bangerth

@Paul: Mira mi edición.

— Arnold Neumaier