¿Qué es el gradiente-log-normalizador?

En la wiki, la función softmax se define como el gradiente-log-normalizador de la distribución de probabilidad categórica . Aquí se encuentra una explicación parcial del log-normalizador , pero ¿qué significa gradiente-log-normalizador ?

Usando la notación de la página de wikipedia ( https://en.wikipedia.org/wiki/Exponential_family ), una familia exponencial es una familia de distribuciones de probabilidad que tienen pmfs / pdfs que se pueden escribir como (notando que , puede ser valor vectorial): donde son los parámetros naturales, son las estadísticas suficientes, y A (\ theta) es el normalizador de registro (a veces llamado la función de partición de registro). La razón por la que A (\ theta) se llama normalizador de registro, ya que se puede verificar que, en el caso continuo, para que este sea un pdf válido, debemos tener $\theta$$x$

$$f_{\theta}(x)=h(x)\exp[\eta(\theta)^Tt(x)-A(\theta)]$$ $\eta(\theta)=\eta$$t(x)$$A(\theta)$$A(\theta)$ $$A(\theta)=\log\left[\int h(x)\exp[\eta(\theta)^Tt(x)]dx\right],$$ y en el caso discreto, para que sea un pmf válido , debemos tener $$A(\theta)=\log\left[\sum_x h(x)\exp[\eta(\theta)^Tt(x)]\right].$$ En cada caso, notamos que $\int h(x)\exp[\eta(\theta)^Tt(x)]dx$ y $\sum_x h(x)\exp[\eta(\theta)^Tt(x)]$ son las constantes de normalización de las distribuciones, de ahí el nombre normalizador de registro.

Ahora para ver la relación específica entre la función softmax y la distribución categórica dimensional, tendremos que usar una parametrización específica de la distribución. Es decir, deje que sea ​​tal que y , y define (dejando ). El pmf para esta distribución es (dejando que sea ​​un vector caliente, es decir, y para ): $k$$\theta_1,\cdots,\theta_{k-1}$$0<\theta_1,\cdots,\theta_{k-1}$$\sum_{i=1}^{k-1}\theta_i<1$$\theta_k=1-\sum_{i=1}^{k-1}\theta_i$$\theta=(\theta_1,\cdots,\theta_{k})$$x=(x_1,\cdots,x_{k})$$x_i=1$$x_j=0$$i\neq j$

$$f_{\theta}(x)=\prod_{i=1}^k\theta_i^{x_i}.$$ Para escribir esto como una familia exponencial, tenga en cuenta que , , y , entonces: $h(x)=1$$\eta(\theta)=(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)$$t(x)=(x_1,\cdots,x_{k})$$A(\theta)=-\log[\theta_k]$ $$f_{\theta}(x)=\exp[(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)^T(x_1,\cdots,x_{k})-(-\log[\theta_k])].$$

Ahora vamos a escribir sugestivamente , para que podamos escribir . Entonces el normalizador de registro se convierte en Tomando la derivada parcial con respecto a , encontramos revelando que el gradiente del normalizador de registro es de hecho la función softmax: $\eta(\theta_i)=\log[\theta_i/\theta_k]=\eta_i$$\theta_i=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$

$$A(\eta)=-\log\left[\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right]= -\log\left[\frac{1}{\sum_{j=1}^ke^{\eta_j}}\right]=\log\left[\sum_{j=1}^ke^{\eta_j}\right].$$ $\eta_i$ $$\frac{\partial}{\partial \eta_i}A(\eta)=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}},$$ $$\nabla A(\eta)=\left[\frac{e^{\eta_1}}{\sum_{j=1}^ke^{\eta_j}},\cdots,\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right].$$