Búsqueda de raíz para la función estocástica

Supongamos que tenemos una función que solo podemos observar a través de algo de ruido. No podemos calcular directamente, solo donde es un ruido aleatorio. (En la práctica: calculo usando algún método de Monte Carlo). $f(x)$ $f(x)$ $f(x) + \eta$ $\eta$ $f(x)$

¿Qué métodos están disponibles para encontrar raíces de , es decir, calcular para que ? $f$ $x$ $f(x) = 0$

Estoy buscando métodos que minimicen la cantidad de evaluaciones necesarias para , ya que esto es computacionalmente costoso. $f(x)+\eta$

Estoy particularmente interesado en métodos que generalizan a múltiples dimensiones (es decir, resuelven ). $f(x,y) = 0, g(x,y) = 0$

También estoy interesado en los métodos que pueden hacer uso de cierta información sobre la varianza de , ya que una estimación de esto puede estar disponible al calcular usando MCMC. $\eta$ $f(x)$

approximation

— Szabolcs
fuente

No estoy seguro de cuáles son las etiquetas correctas para esta pregunta, ayúdenos a volver a etiquetar.

— Szabolcs

Para ser justos, encontré aproximación estocástica , pero muy poca información práctica con ejemplos o discusión práctica de cuándo funciona bien y cuándo no. La mayor parte de la información se encuentra en documentos académicos que parecen requerir bastante trabajo para convertirse en una aplicación práctica. Otra cosa que encontré es la palabra clave Estimación libre de probabilidad que resuelve un problema muy similar y hay más información práctica disponible en línea. ¿Hay algo mas? Las referencias son bienvenidas!

— Szabolcs

problema interesante supongo que todos los métodos de gradiente desaparecen por la ventana

— Aksakal

Además, en su caso el problema es más difícil: puede controlar través de MC

v a r [η]

$var[\eta]$

— Aksakal

Agregaré 50 adicionales a la recompensa de Glen_b por una buena respuesta.

— Szabolcs

Puede encontrar útiles las siguientes referencias:

Pasupathy, R. y Kim, S. (2011) El problema estocástico de búsqueda de raíces: descripción general, soluciones y preguntas abiertas. Transacciones de ACM sobre modelado y simulación por computadora, 21 (3). [ DOI ] [ preimpresión ]

Waeber, R. (2013) Búsqueda de bisección probabilística para encontrar raíces estocásticas. Tesis doctoral, Universidad de Cornell, Ithaca. [ pdf ]

— QuantIbex
fuente

(+1) Tener una pregunta respondida con una cita de disertación de 2013 es bastante impresionante.

— Sycorax dice Reinstate Monica el

Este es google-fu es fuerte

— bdeonovic

El primer documento que cita es útil, pero debe tenerse en cuenta que todavía se necesita bastante trabajo para poner en práctica los métodos.

— Szabolcs

Sería realmente bueno si alguien que pasara por los métodos pudiera dar una estimación de cuánto trabajo lleva pasar del documento a la implementación más simple. Echó un vistazo al primer artículo y parece bastante denso.

— Ramon Martinez

Creo que para este tipo de problemas puede usar el descenso de gradiente estocástico, ver, por ejemplo, finzi.psych.upenn.edu/R/library/sgd/html/sgd.html

— Tom Wenseleers