¿Qué significa "variacional"?

¿El uso de "variacional" siempre se refiere a la optimización mediante inferencia variacional?

Ejemplos:

• "Codificador automático variacional"
• "Métodos Bayesianos Variacionales"
• "Grupo de renormalización variacional"

Significa usar inferencia variacional (al menos para los dos primeros).

En resumen, es un método para aproximar la probabilidad máxima cuando la densidad de probabilidad es complicada (y, por lo tanto, MLE es difícil).

Utiliza Evidence Lower Bound (ELBO) como proxy de ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Donde es una distribución más simple en variables ocultas (denotado por ), por ejemplo, los codificadores automáticos variacionales usan distribución normal en la salida del codificador.$q$$Z$

El nombre 'variacional' proviene probablemente del hecho de que busca una distribución que optimice ELBO, y esta configuración es algo así como en el cálculo de variaciones , un campo que estudia la optimización sobre las funciones (por ejemplo, problemas como: dada una familia de curvas en 2D entre dos puntos, encuentre uno con la longitud más pequeña).$q$

Hay un buen tutorial sobre inferencia variacional de David Blei que puede consultar si desea una descripción más concreta.

EDITAR:

En realidad, lo que describí es un tipo de VI: en general, podría usar divergencia diferente (la que describí corresponde a usar KL divergencia ). Para más detalles, consulte este documento , sección 5.2 (VI con divergencias alternativas).$KL(q, p)$