¿Número óptimo de capas en una red neuronal?

¿Cómo decidir el número óptimo de capas que se crearán al implementar una red neuronal (Feedforward, back propaganda o RNN)?

neural-networks hidden-layers

— v01d
fuente

Existe una técnica llamada Pruningen redes neuronales, que se utiliza solo para este mismo propósito.

La poda se realiza en el número de capas ocultas. El proceso es muy similar al proceso de poda de los árboles de decisión. El proceso de poda se realiza de la siguiente manera:

Entrene una red grande, densamente conectada, con un algoritmo de entrenamiento estándar
Examinar la red capacitada para evaluar la importancia relativa de los pesos.
Eliminar los pesos menos importantes
reentrenar la red podada
Repita los pasos 2-4 hasta que esté satisfecho.

Sin embargo, existen varios métodos optimizados para podar redes neuronales, y también es un área de investigación muy activa .

— Dawny33
fuente

Un enfoque simétrico es la "búsqueda de cuadrícula" común aplicada a la arquitectura de red. Comience con poco (muy rápido) y pruebe automáticamente arquitecturas más grandes. Sin embargo, todo esto es solo fuerza bruta ...

— Eric Platon

@EricPlaton +1 para búsqueda en cuadrícula. Muy útil en hipertuning ML algos. Pero, ¿no es computacionalmente muy intensivo?

— Dawny33

Si, es caro. Sin embargo, cuando podemos comenzar con poco, las primeras etapas pueden ir bastante rápido y dar una mejor idea de a qué apuntar.

— Eric Platon el

@EricPlaton "Grid Search" merecería una respuesta separada por sí misma :)

— Dawny33

Lo pensé, pero entonces habría dos respuestas alternativas y quizás "igualmente correctas" ... Pensé que lo mejor para el lector era compilar la respuesta como una sola.

— Eric Platon

Puede echar un vistazo a la optimización de hiperparámetros bayesianos como método general para optimizar la pérdida (o cualquier otra cosa) en función de los hiperparámetros. Pero tenga en cuenta que, en general, cuanto más profunda sea su red, mejor, por lo que optimizar la pérdida en función del número de capas no es algo muy divertido.

La búsqueda en cuadrícula y un poco de sentido común (como se aprende al ver muchos ejemplos) debería ser su mejor opción.

— kc sayz 'kc sayz'
fuente