¿Se puede (teóricamente) entrenar una red neuronal con menos muestras de entrenamiento que pesas?

En primer lugar: lo sé, no se requiere un número general de tamaño de muestra para entrenar una red neuronal. Depende de demasiados factores, como la complejidad de la tarea, el ruido en los datos, etc. Y cuantas más muestras de entrenamiento tenga, mejor será mi red.

Pero me preguntaba: ¿es teóricamente posible entrenar una red neuronal con menos muestras de entrenamiento que pesas, si supongo que mi tarea es lo suficientemente "simple"? ¿Alguien sabe un ejemplo donde esto funcionó? ¿O esta red seguramente funcionará mal?

Si considero, por ejemplo, la regresión polinómica, no puedo ajustar un polinomio de grado 4 (es decir, con 5 parámetros libres) en solo 4 puntos de datos. ¿Existe una regla similar para las redes neuronales, considerando mi número de pesos como el número de parámetros libres?

La gente hace eso todo el tiempo con grandes redes. Por ejemplo, la famosa red AlexNet tiene aproximadamente 60 millones de parámetros, mientras que el ImageNet ILSVRC en el que se entrenó originalmente tiene solo 1.2 millones de imágenes.

La razón por la que no se ajusta un polinomio de 5 parámetros a 4 puntos de datos es que siempre puede encontrar una función que se ajuste exactamente a sus puntos de datos, pero que haga cosas sin sentido en otros lugares. Bueno, como se señaló recientemente , AlexNet y redes similares pueden ajustar etiquetas aleatorias arbitrarias aplicadas a ImageNet y simplemente memorizarlas todas, presumiblemente porque tienen muchos más parámetros que puntos de entrenamiento. Pero algo sobre los antecedentes de la red combinados con el proceso de optimización de descenso de gradiente estocástico significa que, en la práctica, estos modelos aún pueden generalizarse bien a nuevos puntos de datos cuando les da etiquetas reales. Todavía no entendemos por qué sucede eso.

Los sistemas subdeterminados solo están subdeterminados si no impone otras restricciones que los datos. Siguiendo con su ejemplo, ajustar un polinomio de 4 grados a 4 puntos de datos significa que tiene un grado de libertad no limitado por los datos, lo que le deja con una línea (en el espacio del coeficiente) de soluciones igualmente buenas. Sin embargo, puede usar varias técnicas de regularización para hacer que el problema sea manejable. Por ejemplo, al imponer una penalización a la norma L2 (es decir, la suma de los cuadrados) de los coeficientes, se asegura de que siempre haya una solución única con la mayor aptitud.

Las técnicas de regularización también existen para las redes neuronales, por lo que la respuesta corta a su pregunta es 'sí, puede'. De particular interés es una técnica llamada "abandono", en la cual, para cada actualización de los pesos, se 'suelta' al azar un cierto subconjunto de nodos de la red. Es decir, para esa iteración particular del algoritmo de aprendizaje, pretende que estos nodos no existen. Sin abandono, la red puede aprender representaciones muy complejas de la entrada que dependen de que todos los nodos trabajen juntos correctamente. Es probable que tales representaciones 'memoricen' los datos de entrenamiento, en lugar de encontrar patrones que generalicen. El abandono asegura que la red no pueda usar todos los nodos a la vez para ajustar los datos de entrenamiento; tiene que poder representar bien los datos incluso cuando faltan algunos nodos,

También tenga en cuenta que cuando se usa el abandono, los grados de libertad en cualquier punto dado durante el entrenamiento en realidad pueden ser más pequeños que el número de muestras de entrenamiento, aunque en total esté aprendiendo más pesos que las muestras de entrenamiento.