De cualquier algoritmo de muestreo genérico, uno puede derivar un algoritmo de optimización.
De hecho, para maximizar una función arbitraria , es suficiente para extraer muestras de g ~ e f / T . Para suficientemente pequeño, estas muestras caerán cerca del máximo global (o máximos locales en la práctica) de la función .f
Por "muestreo" quiero decir, sacar una muestra pseudoaleatoria de una distribución dada una función de log-verosimilitud conocida hasta una constante. Por ejemplo, muestreo de MCMC, muestreo de Gibbs, muestreo de haz, etc. Por "optimización" me refiero al intento de encontrar parámetros que maximicen el valor de una función dada.
¿Es posible lo contrario? Dada una heurística para encontrar el máximo de una función o una expresión combinatoria, ¿podemos extraer un procedimiento de muestreo eficiente?
HMC, por ejemplo, parece aprovechar la información de gradiente. ¿Podemos construir un procedimiento de muestreo que aproveche una aproximación similar a BFGS de la arpillera? (Editar: aparentemente sí: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf ) Podemos usar MCTS en problemas combinatorios, ¿podemos traducir eso? en un procedimiento de muestreo?
Contexto: una dificultad en el muestreo es a menudo que la mayor parte de la distribución de probabilidad se encuentra dentro de una región muy pequeña. Existen técnicas interesantes para encontrar tales regiones, pero no se traducen directamente en procedimientos de muestreo imparciales.
Editar: ahora tengo la sensación persistente de que la respuesta a esa pregunta es algo equivalente a la igualdad de las clases de complejidad #P y NP, lo que hace que la respuesta sea un "no". Explica por qué cada técnica de muestreo produce una técnica de optimización, pero no al revés.