¿Qué tan grande debe ser el tamaño del lote para el descenso de gradiente estocástico?

Entiendo que el descenso de gradiente estocástico puede usarse para optimizar una red neuronal usando la propagación hacia atrás actualizando cada iteración con una muestra diferente del conjunto de datos de entrenamiento. ¿Qué tan grande debe ser el tamaño del lote?

El "tamaño de la muestra" que estamos hablando es referido como el tamaño del lote , . El parámetro de tamaño de lote es solo uno de los hiperparámetros que ajustará cuando entrene una red neuronal con Descenso de gradiente estocástico (SGD) mini-lote y depende de los datos. El método más básico de búsqueda de hiperparámetros es hacer una búsqueda en la cuadrícula sobre la velocidad de aprendizaje y el tamaño del lote para encontrar un par que converja la red.$B$

Para comprender cuál debería ser el tamaño del lote, es importante ver la relación entre el descenso del gradiente del lote, el SGD en línea y el SGD de mini lotes. Aquí está la fórmula general para el paso de actualización de peso en SGD de mini lotes, que es una generalización de los tres tipos. [ 2 ]

$$\theta_{t+1} \leftarrow \theta_{t} - \epsilon(t) \frac{1}{B} \sum\limits_{b=0}^{B - 1} \dfrac{\partial \mathcal{L}(\theta, \textbf{m}_b)}{\partial \theta}$$

1. Descenso de gradiente por lotes, $B = |x|$
2. Descenso de gradiente estocástico en línea: $B = 1$
3. Descenso de gradiente estocástico mini-lote: pero B < | x | .$B > 1$$B < |x|$

Tenga en cuenta que con 1, la función de pérdida ya no es una variable aleatoria y no es una aproximación estocástica.

SGD converge más rápido que el descenso de gradiente "por lotes" normal porque actualiza los pesos después de mirar un subconjunto seleccionado al azar del conjunto de entrenamiento. Deje ser nuestro conjunto de entrenamiento y dejar m ⊂ x . El tamaño de lote B es solo la cardinalidad de m : B = | m | .$x$$m \subset x$$B$$m$$B = |m|$

El descenso de gradiente por lotes actualiza los pesos utilizando los gradientes de todo el conjunto de datos x ; mientras que SGD actualiza los pesos utilizando un promedio de los gradientes para un mini lote m . (El uso del promedio en lugar de una suma evita que el algoritmo tome medidas que son demasiado grandes si el conjunto de datos es muy grande. De lo contrario, necesitaría ajustar su tasa de aprendizaje en función del tamaño del conjunto de datos). El valor esperado de este La aproximación estocástica del gradiente utilizado en SGD es igual al gradiente determinista utilizado en el descenso del gradiente por lotes. E [ ∇ L S G D ( θ , m ) ] = $\theta$$x$$m$ .$\mathbb{E}[\nabla \mathcal{L}_{SGD}(\theta, \textbf{m})] = \nabla \mathcal{L}(\theta, \textbf{x})$

Cada vez que tomamos una muestra y actualizamos nuestros pesos, se llama mini lote . Cada vez que corremos a través de todo el conjunto de datos, se llama una época .

Digamos que tenemos algunos vectores de datos , un vector de peso inicial que parametriza nuestra red neuronal, θ 0 : R S , y una función de pérdida L ( θ , x ) : R S → R D → R S que están tratando de minimizar Si tenemos ejemplos de entrenamiento T y un tamaño de lote de B , entonces podemos dividir esos ejemplos de entrenamiento en mini lotes de C:$\textbf{x} : \mathbb{R}^D$$\theta_0 : \mathbb{R}^{S}$$\mathcal{L}(\theta, \textbf{x}) : \mathbb{R}^{S} \rightarrow \mathbb{R}^{D} \rightarrow \mathbb{R}^S$$T$$B$

$$C = \lceil T / B \rceil$$

Por simplicidad, podemos suponer que T es divisible de manera uniforme por B. Aunque, cuando este no es el caso, como a menudo no lo es, se debe asignar el peso adecuado a cada mini lote en función de su tamaño.

A continuación se muestra un algoritmo iterativo para SGD con épocas :$M$

$$\begin{align*} t &\leftarrow 0 \\ \textrm{while } t &< M \\ \theta_{t+1} &\leftarrow \theta_{t} - \epsilon(t) \frac{1}{B} \sum\limits_{b=0}^{B - 1} \dfrac{\partial \mathcal{L}(\theta, \textbf{m}_b)}{\partial \theta} \\ t &\leftarrow t + 1 \end{align*}$$

Nota: en la vida real, estamos leyendo estos datos de ejemplo de entrenamiento de la memoria y, debido a la captación previa de caché y otros trucos de memoria realizados por su computadora, su algoritmo se ejecutará más rápido si los accesos a la memoria se fusionan , es decir, cuando lee la memoria en orden y no saltes al azar. Entonces, la mayoría de las implementaciones de SGD barajan el conjunto de datos y luego cargan los ejemplos en la memoria en el orden en que se leerán.

Los principales parámetros para el SGD de vainilla (sin impulso) descritos anteriormente son:

1. Tasa de aprendizaje: $\epsilon$

Me gusta pensar que el épsilon es una función desde el recuento de época hasta la tasa de aprendizaje. Esta función se llama horario de aprendizaje .

$$\epsilon(t) : \mathbb{N} \rightarrow \mathbb{R}$$

Si desea que se fije la tasa de aprendizaje, simplemente defina epsilon como una función constante.

2. Tamaño del lote

El tamaño del lote determina cuántos ejemplos mira antes de realizar una actualización de peso. Cuanto más bajo sea, más ruidosa será la señal de entrenamiento, cuanto más alta sea, más tiempo tomará calcular el gradiente para cada paso.

Citaciones y lecturas adicionales:

1. Introducción al aprendizaje basado en gradientes
2. Recomendaciones prácticas para la formación basada en gradientes de arquitecturas profundas.
3. Entrenamiento eficiente en mini lotes para la optimización estocástica