¿Cuál es el tamaño del lote en la red neuronal?

Estoy usando Python Keras packagepara la red neuronal. Este es el enlace . ¿Es batch_sizeigual al número de muestras de prueba? De Wikipedia tenemos esta información:

Sin embargo, en otros casos, evaluar el gradiente de suma puede requerir evaluaciones costosas de los gradientes de todas las funciones de sumando. Cuando el conjunto de entrenamiento es enorme y no existen fórmulas simples, evaluar las sumas de gradientes se vuelve muy costoso, porque evaluar el gradiente requiere evaluar todos los gradientes de las funciones de suma y suma. Para economizar el costo computacional en cada iteración, el descenso de gradiente estocástico muestrea un subconjunto de funciones de sumando en cada paso. Esto es muy efectivo en el caso de problemas de aprendizaje automático a gran escala.

¿La información anterior describe datos de prueba? ¿Es esto lo mismo que batch_sizeen keras (número de muestras por actualización de gradiente)?

El tamaño del lote define el número de muestras que se propagarán a través de la red.

Por ejemplo, supongamos que tiene 1050 muestras de entrenamiento y desea configurar un batch_sizeigual a 100. El algoritmo toma las primeras 100 muestras (del 1 al 100) del conjunto de datos de entrenamiento y entrena la red. Luego, toma las segundas 100 muestras (de la 101 a la 200) y entrena la red nuevamente. Podemos seguir haciendo este procedimiento hasta que hayamos propagado todas las muestras a través de la red. El problema puede ocurrir con el último conjunto de muestras. En nuestro ejemplo, hemos usado 1050 que no es divisible por 100 sin resto. La solución más simple es obtener las 50 muestras finales y capacitar a la red.

Ventajas de usar un tamaño de lote <número de todas las muestras:

• Requiere menos memoria. Como entrena la red con menos muestras, el procedimiento de entrenamiento general requiere menos memoria. Eso es especialmente importante si no puede ajustar todo el conjunto de datos en la memoria de su máquina.

• Por lo general, las redes entrenan más rápido con mini lotes. Eso es porque actualizamos los pesos después de cada propagación. En nuestro ejemplo, hemos propagado 11 lotes (10 de ellos tenían 100 muestras y 1 tenía 50 muestras) y después de cada uno de ellos hemos actualizado los parámetros de nuestra red. Si usáramos todas las muestras durante la propagación, solo haríamos una actualización para el parámetro de la red.

Desventajas de usar un tamaño de lote <número de todas las muestras:

• Cuanto más pequeño sea el lote, menos precisa será la estimación del gradiente. En la figura siguiente, puede ver que la dirección del gradiente de mini lotes (color verde) fluctúa mucho más en comparación con la dirección del gradiente de lote completo (color azul).

El estocástico es solo un mini-lote con batch_sizeigual a 1. En ese caso, el gradiente cambia su dirección aún más a menudo que un gradiente de mini-lote.

En la terminología de la red neuronal:

• una época = un pase hacia adelante y un pase hacia atrás de todos los ejemplos de entrenamiento
• tamaño de lote = el número de ejemplos de entrenamiento en un pase hacia adelante / hacia atrás. Cuanto mayor sea el tamaño del lote, más espacio de memoria necesitará.
• número de iteraciones = número de pases, cada pase usando [tamaño de lote] número de ejemplos. Para ser claros, un pase = un pase hacia adelante + un pase hacia atrás (no contamos el pase hacia adelante y hacia atrás como dos pases diferentes).

Ejemplo: si tiene 1000 ejemplos de entrenamiento y el tamaño de su lote es 500, se necesitarán 2 iteraciones para completar 1 época.

FYI: intercambio de tamaño de lote frente a número de iteraciones para entrenar una red neuronal

Al resolver con una CPU un problema de optimización, aplica iterativamente un algoritmo sobre algunos datos de entrada. En cada una de estas iteraciones, generalmente actualiza una métrica de su problema haciendo algunos cálculos en los datos. Ahora, cuando el tamaño de sus datos es grande, puede necesitar una cantidad considerable de tiempo para completar cada iteración y puede consumir muchos recursos. Por lo tanto, a veces elige aplicar estos cálculos iterativos en una porción de los datos para ahorrar tiempo y recursos computacionales. Esta porción es el tamaño del lote y el proceso se llama (en la jerga de la red neuronal) procesamiento de datos por lotes. Cuando aplica sus cálculos en todos sus datos, entonces realiza el procesamiento de datos en línea. Supongo que la terminología proviene de los años 60, e incluso antes. ¿Alguien recuerda el. bat archivos DOS? Pero, por supuesto, el concepto encarnado significa un hilo o una porción de los datos que se utilizarán.

La documentación de Kerasaproximadamente el tamaño del lote se puede encontrar bajo la fitfunción en los modelos (API funcional) página

batch_size: Entero o ninguno. Número de muestras por actualización de gradiente. Si no se especifica, el tamaño del lote será por defecto 32.

Si tiene un conjunto de datos pequeño, sería mejor hacer que el tamaño del lote sea igual al tamaño de los datos de entrenamiento. Primero intente con un lote pequeño y luego aumente para ahorrar tiempo. Como mencionó itdxer , hay una compensación entre precisión y velocidad.