Heurística para la optimización

Como es viernes, es hora de una pregunta de CW. Estoy buscando heurísticas que tengan un amplio uso en problemas de optimización. Para limitar el alcance a más heurísticas 'amigables con la teoría', aquí están las reglas (algunas arbitrarias, otras no)

• Debe ser un método bien definido sin numerosos parámetros y con un tiempo de ejecución concreto (tal vez por iteración)
• Debería tener algunos resultados teóricos conocidos asociados con él (tasa de convergencia, límites de aproximación si los hay, propiedades estacionarias, etc.)
• Debe tener una amplia aplicabilidad y al menos una aplicación emblemática donde sea el método de elección o uno de los pocos.
• no debería estar inspirado en la naturaleza (aunque esto parece una objeción frívola, estoy tratando de excluir algoritmos genéticos, optimización de colonias de hormigas y similares).

Lo ideal es que las respuestas tengan el siguiente formato: aquí hay un ejemplo.

Nombre : Optimización alterna

Objetivo : minimizar una función (generalmente no convexa) $f(x,y)$

$g(x) = \min_y f(x,y)$$h(y) = \min_x f(x,y)$

Algoritmo : la iteración comienza con .$i^{\text{th}}$$x_i, y_i$

1. $x_{i+1} \leftarrow \arg \min_x f(x, y_i)$
2. $y_{i+1} \leftarrow \arg\min_y f(x_{i+1}, y)$

Aplicación más conocida : significa, par más cercano iterado.$k$

Teoría : Resultados conocidos sobre medios , condiciones generales suficientes para la optimización global del marco$k$

ps Puede encontrar que su respuesta termina como una conferencia en un seminario de algoritmos que estoy planeando :)

$\sum w(\theta)F(\theta)^2$$\theta\in R^n$$F(\theta) \in R^m$$w(\theta)\in R$


$L_p$