Comprender las matemáticas de AdaGrad y AdaDelta

He estado construyendo algunos modelos para un proyecto, pero no puedo entender los algoritmos matemáticos de Adagrad y Adadelta.

Entiendo cómo funciona el descenso de gradiente de vainilla y he escrito un código para que funcione correctamente.

Estaré agradecido si alguien me explica estas dos cosas o proporciona algún recurso para comprenderlas.

Con respecto a los recursos:

• En mi opinión, ADADELTA: un método de tasa de aprendizaje adaptativo (el documento original de ADADELTA) explica (en las secciones 1-3) tanto ADAGRAD como ADADELTA de una manera bastante accesible.
• He encontrado adaptativos Métodos subgradiente para el aprendizaje en línea y la optimización estocástica a ser menos accesible, pero es el papel ADAGRAD original, por lo que es probable que vale la pena un tiro.
• Una descripción general de los algoritmos de optimización de descenso de gradiente (una publicación de blog de Sebastian Ruder) también me ayudó a comprender tanto ADAGRAD como ADADELTA.
  
  

---

Aquí hay algunas citas centrales de ADADELTA: un método de tasa de aprendizaje adaptativo , junto con algunos ejemplos y explicaciones breves:

ADAGRAD

La regla de actualización para ADAGRAD es la siguiente:

$$\begin{matrix}\Delta x_{t}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}}g_{t} & & & (5)\end{matrix}$$ Aquí el denominador calcula el $l2$norma de todos los gradientes anteriores por dimensión y η es una tasa de aprendizaje global compartida por todas las dimensiones.
Si bien existe la tasa de aprendizaje global ajustada a mano, cada dimensión tiene su propia tasa dinámica.

Es decir, si los gradientes en los primeros tres pasos son $g_{1}=\left(\begin{gathered}a_{1}\\ b_{1}\\ c_{1} \end{gathered} \right)\,,\,g_{2}=\left(\begin{gathered}a_{2}\\ b_{2}\\ c_{2} \end{gathered} \right)\,,\,g_{3}=\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)$, entonces:

$$\begin{gathered}\Delta x_{3}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{3}g_{\tau}^{2}}}g_{3}=-\frac{\eta}{\sqrt{\left(\begin{gathered}a_{1}^{2}+a_{2}^{2}+a_{3}^{2}\\ b_{1}^{2}+b_{2}^{2}+b_{3}^{2}\\ c_{1}^{2}+c_{2}^{2}+c_{3}^{2} \end{gathered} \right)}}\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)\\ \downarrow\\ \Delta x_{3}=-\left(\begin{gathered}\frac{\eta}{\sqrt{a_{1}^{2}+a_{2}^{2}+a_{3}^{2}}}a_{3}\\ \frac{\eta}{\sqrt{b_{1}^{2}+b_{2}^{2}+b_{3}^{2}}}b_{3}\\ \frac{\eta}{\sqrt{c_{1}^{2}+c_{2}^{2}+c_{3}^{2}}}c_{3} \end{gathered} \right) \end{gathered}$$ Aquí es más fácil ver que cada dimensión tiene su propia tasa de aprendizaje dinámico, como se prometió.

Problemas de ADAGRAD que ADADELTA intenta contrarrestar

La idea presentada en este documento se derivó de ADAGRAD para mejorar los dos inconvenientes principales del método: 1) la disminución continua de las tasas de aprendizaje a lo largo de la capacitación, y 2) la necesidad de una tasa de aprendizaje global seleccionada manualmente.

El segundo inconveniente se explica por sí mismo.

Aquí hay un ejemplo para cuando el primer inconveniente es un problema:
considere un caso en el que el valor absoluto de cada componente de$g_2$es mucho mayor que el valor absoluto del componente respectivo del gradiente en cualquier otro paso.
Para cualquier$t>2$, sostiene que cada componente de $\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}$ es mayor que el valor absoluto del componente respectivo de $g_2$. Pero el valor absoluto de cada componente de$g_2$ es mucho mayor que el valor absoluto del componente respectivo de $g_t$, y entonces $\Delta x_t$es muy pequeño.
Además, a medida que el algoritmo progresa, se acerca al mínimo, por lo que el gradiente se hace más pequeño, y así$\Delta x_t$se vuelve cada vez más pequeño.
Por lo tanto, podría ser que el algoritmo prácticamente se detenga antes de alcanzar un mínimo.

ADADELTA

En lugar de considerar todos los gradientes que se calcularon, ADADELTA considera solo el último $w$ gradientes

Desde el almacenamiento $w$los gradientes cuadrados anteriores son ineficientes, nuestros métodos implementan esta acumulación como un promedio exponencialmente decreciente de los gradientes cuadrados. Asumir a tiempo$t$ este promedio de funcionamiento es $E\left[g^{2}\right]_{t}$ entonces calculamos:

$$\begin{matrix}E\left[g^{2}\right]_{t}=\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2} & & & (8)\end{matrix}$$ dónde $\rho$es una decadencia constante [...]. Dado que requerimos la raíz cuadrada de esta cantidad en las actualizaciones de parámetros, esto efectivamente se convierte en el$\text{RMS}$ de gradientes al cuadrado anteriores hasta el momento $t$: $$\begin{matrix}\text{RMS}\left[g\right]_{t}=\sqrt{E\left[g^{2}\right]_{t}+\epsilon} & & & (9)\end{matrix}$$ donde una constante $\epsilon$ se agrega para mejorar el denominador

($\text{RMS}$significa Root Mean Square .)

Similar:

$$E\left[\Delta x^{2}\right]_{t-1}=\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}$$ $$\text{RMS}\left[\Delta x\right]_{t-1}=\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}$$ Y finalmente:

[...] aproximado $\Delta x_{t}$ calculando la descomposición exponencial $\text{RMS}$ sobre una ventana de tamaño $w$ de anterior $\Delta x$ para dar el método ADADELTA:

$$\begin{matrix}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t} & & & (14)\end{matrix}$$ donde la misma constante $\epsilon$ se agrega al numerador $\text{RMS}$también. Esta constante sirve tanto para comenzar la primera iteración donde$\Delta x_{0}=0$y para garantizar que se siga avanzando incluso si las actualizaciones anteriores se reducen.
[...]
El numerador actúa como un término de aceleración, acumulando gradientes anteriores en una ventana de tiempo [...]

Es decir, si el gradiente en el paso $r$ es $g_{r}=\left(\begin{gathered}a_{r}\\ b_{r}\\ c_{r} \end{gathered} \right)$ y $\Delta x_{r}=\left(\begin{gathered}i_{r}\\ j_{r}\\ k_{r} \end{gathered} \right)$, entonces:

$$\begin{gathered}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t}=-\frac{\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}}{\sqrt{E\left[g^{2}\right]_{t}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho\left(\rho E\left[\Delta x^{2}\right]_{t-3}+\left(1-\rho\right)\Delta x_{t-2}^{2}\right)+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho\left(\rho E\left[g^{2}\right]_{t-2}+\left(1-\rho\right)g_{t-1}^{2}\right)+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{2}E\left[\Delta x^{2}\right]_{t-3}+p^{1}\left(1-\rho\right)\Delta x_{t-2}^{2}+p^{0}\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho^{2}E\left[g^{2}\right]_{t-2}+p^{1}\left(1-\rho\right)g_{t-1}^{2}+p^{0}\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{t-1}E\left[\Delta x^{2}\right]_{0}+\overset{t-1}{\underset{r=1}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\rho^{t-1}E\left[g^{2}\right]_{1}+\overset{t}{\underset{r=2}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t} \end{gathered}$$

$\rho$ es una constante de descomposición, por lo que lo elegimos de tal manera que $\rho\in\left(0,1\right)$ (típicamente $\rho\ge0.9$)
Por lo tanto, multiplicando por un alto poder de$\rho$da como resultado un número muy pequeño.
Dejar$w$ ser el exponente más bajo de tal manera que consideremos el producto de multiplicar valores sanos por $\rho^w$despreciable.
Ahora podemos aproximarnos$\Delta x_{t}$ dejando caer términos insignificantes:

$$\begin{gathered}\Delta x_{t}\approx-\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\left(\begin{gathered}i_{r}^{2}\\ j_{r}^{2}\\ k_{r}^{2} \end{gathered} \right)+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)\left(\begin{gathered}a_{r}^{2}\\ b_{r}^{2}\\ c_{r}^{2} \end{gathered} \right)+\epsilon}}\left(\begin{gathered}a_{t}\\ b_{t}\\ c_{t} \end{gathered} \right)\\ \downarrow\\ \Delta x_{t}\approx-\left(\begin{gathered}\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)i_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)a_{r}^{2}+\epsilon}}a_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)j_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)b_{r}^{2}+\epsilon}}b_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)k_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)c_{r}^{2}+\epsilon}}c_{t} \end{gathered} \right) \end{gathered}$$

De quora encontrará una guía más completa, pero las ideas principales son que AdaGrad intenta etiquetar estos problemas en la selección de la tasa de aprendizaje de gradiente en el aprendizaje automático:

1 Selección manual de la tasa de aprendizaje η.

2 El vector de gradiente gt se escala uniformemente por una tasa de aprendizaje escalar η.

3 La tasa de aprendizaje η permanece constante durante todo el proceso de aprendizaje.

Resuelve las preocupaciones 2 y 3 simplemente dividiendo cada componente de gradiente actual por una norma L2 de gradientes observados en el pasado para ese componente en particular.

Tiene en sí los siguientes problemas:

1 Tasa de aprendizaje en decadencia continua η.

2 Selección manual de la tasa de aprendizaje η.

AdaDelta resuelve la preocupación 1 de AdaGrad sumando los gradientes solo dentro de una determinada ventana W.

La solución de preocupación 2 se relaciona con la falta de coincidencia en las unidades de gradiente y, por lo tanto,

El proceso de acumulación real se implementa utilizando un concepto de impulso.

El último cálculo necesita comprensión sobre la teoría del momento y se explicó brevemente allí en el artículo.

Mi idea era dar las causas principales detrás de lo que se pretendía, tal vez eso facilita la lectura.