¿Hay algún documento publicado que muestre diferencias en los métodos de regularización para redes neuronales, preferiblemente en diferentes dominios (o al menos diferentes conjuntos de datos)?
Lo pregunto porque actualmente tengo la sensación de que la mayoría de las personas parecen usar solo el abandono para la regularización en la visión por computadora. Me gustaría verificar si habría una razón (no) para usar diferentes formas de regularización.
Respuestas:
Dos puntos:
De todos modos, soy un poco escéptico de los estudios empíricos de redes neuronales. Hay demasiados hiperparámetros para ajustar, desde la topología de la red hasta el procedimiento de optimización de descenso de gradiente y las funciones de activación y lo que sea que esté probando como regularización. Entonces, todo es estocástico y, por lo general, las ganancias de rendimiento son tan pequeñas que apenas se pueden realizar pruebas estadísticas de las diferencias. Muchos autores ni siquiera se molestan en hacer pruebas estadísticas. Simplemente promedian la validación cruzada y declaran que cualquier modelo que tenga la mayor ganancia de punto decimal para ser el ganador.
Puede encontrar un estudio que promueva el abandono escolar solo para ser contradicho por otro que promueva la regularización.
Creo que todo se reduce a preferencias estéticas. El abandono en mi humilde opinión suena más plausible biológico que la regularización. También parece más fácil de calibrar. Por lo tanto, personalmente lo prefiero cuando uso un marco como TensorFlow. Si tenemos que usar nuestra propia red neuronal, que a menudo hacemos, usaremos la regularización porque fue más fácil de implementar.
Seguro. El papel del Creador mismo, Geoffrey Hinton. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf léelo. Pero te animo a que veas la diferencia por ti mismo al implementarlo.