Cuando hay un jacobiano analítico disponible, ¿es mejor aproximar el hessiano por

Digamos que estoy calculando algunos parámetros del modelo, minimizando la suma de los residuos al cuadrado, y supongo que mis errores son gaussianos. Mi modelo produce derivados analíticos, por lo que el optimizador no necesita usar diferencias finitas. Una vez que se completa el ajuste, quiero calcular los errores estándar de los parámetros ajustados.

En general, en esta situación, se considera que el hessiano de la función de error está relacionado con la matriz de covarianza mediante:

σ^{2} H^{- 1} = C

$\sigma^2 H^{-1} = C$ donde

σ^{2}

$\sigma^2$ es la varianza de los residuos.

Cuando no hay derivados analíticos del error disponibles, generalmente no es práctico calcular el Hessian, por lo que $J^TJ$ se toma como una buena aproximación.

Sin embargo, en mi caso, tengo una J analítica, por lo que es relativamente barato para mí calcular H por diferencia finita J.

Entonces, mi pregunta es esta: ¿Sería más preciso aproximar H usando mi J exacta y aplicando la aproximación anterior, o aproximar H por diferencia finita J?

standard-error fitting

— Colin K
fuente

Buena pregunta. Primero, recuerde de dónde proviene esta aproximación Dejar $H \approx J^T J$ $(x_i, y_i)$ sus puntos de datos, sea su modelo y sean los parámetros de su modelo. Entonces, la función objetivo del problema de los mínimos cuadrados no lineales es $f(\cdot)$ $\beta$ dondees el vector de los residuos,. El hessiano exacto de la función objetivo es. Entonces el error en esta aproximación es $\frac{1}{2} r^T r$ $r$ $r_i = y_i - f(x_i, \beta)$ $H = J^T J + \sum r_i \nabla^2 r_i$ $H - J^T J = \sum r_i \nabla^2 r_i$ . Es una buena aproximación cuando los residuos, en sí mismos, son pequeños; o cuando la segunda derivada de los residuos es pequeña. Los mínimos cuadrados lineales pueden considerarse un caso especial donde la segunda derivada de los residuos es cero.

En cuanto a la aproximación por diferencias finitas, es relativamente barato. Para calcular una diferencia central, deberá evaluar el jacobiano veces (una diferencia hacia adelante le costará evaluaciones adicionales, por lo que no me molestaría). El error de la aproximación de diferencia central es proporcional a y $2n$ $n$ $\nabla^4 r$ $h^2$ , en donde es el tamaño del paso. El tamaño de paso óptimo es $h$ , dondees precisión de la máquina. Entonces, a menos que las derivadas de los residuos estén explotando, está bastante claro que la aproximación de diferencia finita debería ser MUCHO mejor. Debo señalar que, si bien el cálculo es mínimo, la contabilidad no es trivial. Cada diferencia finita en el jacobiano le dará una fila del hessiano por cada residuo. Luego tendrás que volver a montar el Hessian usando la fórmula anterior. $h \sim \epsilon^\frac{1}{3}$ $\epsilon$

Hay, sin embargo, una tercera opción. Si su solucionador utiliza un método Cuasi-Newton (DFP, BFGS, Bryoden, etc.), ya se está aproximando al Hesse en cada iteración. La aproximación puede ser bastante buena, ya que utiliza la función objetivo y los valores de gradiente de cada iteración. La mayoría de los solucionadores le darán acceso a la estimación final de Hesse (o su inversa). Si esa es una opción para usted, lo usaría como la estimación de Hesse. Ya está calculado y probablemente será una estimación bastante buena.

— Bill Woessner
fuente

Excelente respuesta, gracias. Justificarlo con una comparación del error de estimación en cada caso es muy esclarecedor. ¿Puedo preguntar cómo sabes que

es el paso óptimo de las diferencias finitas? Nunca he visto eso antes.

ϵ^{1 / 3}

$\epsilon^{1/3}$

— Colin K

Ese es un viejo truco para equilibrar el error de truncamiento frente al error de redondeo. Obviamente, para minimizar el error de truncamiento, desea hacer

más pequeño posible. Pero una vez que

vuelve demasiado pequeña, comienza a incurrir en un error de redondeo significativo. La derivación es relativamente sencilla. Suponiendo una diferencia central, el error de truncamiento es proporcional a

. El error de redondeo siempre es proporcional a

h

$h$

h

$h$

h^{2} f^{‴} (x)

$h^2 f'''(x)$

. Agregue los dos y minimice sobre

. Tienes

\frac{ϵ f (x)}{h}

$\frac{\epsilon f(x)}{h}$

h

$h$

h \sim ϵ^{\frac{1}{3}}

$h \sim \epsilon^\frac{1}{3}$

— Bill Woessner

Esto solo es válido para las diferencias centrales. Para las diferencias de avance, el tamaño de paso óptimo es

. También hay otros trucos. Por ejemplo, asegúrese de saber realmente quées

. Sé que esto suena tonto, pero pueden suceder cosas extrañas en la aritmética de coma flotante. He aquí una forma sencilla de asegurarse de que tiene el valor correcto de

:. Matemáticamente, por supuesto,

. Pero si usa valores que no se pueden representar exactamente en coma flotante (como

), verá que ese no es el caso.

h \sim ϵ^{\frac{1}{2}}

$h \sim \epsilon^\frac{1}{2}$

h

$h$

h

$h$ h_actual = (x + h_desired) - x

h_{a c t u a l} = h_{d e s i r e d}

$h_{actual} = h_{desired}$

h = 0.0001

$h = 0.0001$

— Bill Woessner

Quizás este contenido podría agregarse a su respuesta, en lugar de los comentarios. De esa manera, los usuarios futuros no tienen que pasar por una sección de comentarios extendida para encontrar material que se relacione directamente con las afirmaciones hechas en la respuesta.

— Sycorax dice Reinstate Monica

Oh Dios mío. Una aproximación cuasi-Newton de la arpillera puede ser una estimación terrible de la arpillera y, por lo tanto, puede resultar en una estimación muy pobre de la matriz de covarianza. Puede servir bien para facilitar la progresión del algoritmo al óptimo, pero puede ser bastante pobre como una estimación de la arpillera.

— Mark L. Stone