¿En qué punto comenzamos a clasificar las redes neuronales de varias capas como redes neuronales profundas o para decirlo de otra manera? ¿Cuál es el número mínimo de capas en una red neuronal profunda?
Respuestas:
"Profundo" es un término de marketing: por lo tanto, puede usarlo siempre que necesite comercializar su red neuronal multicapa.
"Profundo"
Una de las primeras redes neuronales profundas tiene tres capas ocultas densamente conectadas ( Hinton et al. (2006) ).
"Muy profundo"
En 2014, el "muy profundo" VGG netowrks Simonyan et al. (2014) consta de más de 16 capas ocultas.
"Extremadamente profundo"
En 2016, las redes residuales "extremadamente profundas" He et al. (2016) consta de 50 hasta 1,000+ capas ocultas.
Según la literatura,
Schmidhuber, J. (2015). "Aprendizaje profundo en redes neuronales: una visión general". Redes neuronales. 61: 85-117. arXiv: 1404.7828 libre de leer. doi: 10.1016 / j.neunet.2014.09.003.
https://en.wikipedia.org/wiki/Deep_learning
Se dice que
No existe un umbral universalmente acordado de profundidad que divida el aprendizaje superficial del aprendizaje profundo, pero la mayoría de los investigadores en el campo están de acuerdo en que el aprendizaje profundo tiene múltiples capas no lineales (CAP> 2) y Schmidhuber considera que CAP> 10 es un aprendizaje muy profundo.
Una cadena de transformaciones de entrada a salida es una ruta de asignación de crédito o CAP. Para una red neuronal de avance, la profundidad de los CAP y, por lo tanto, la profundidad de la red, es el número de capas ocultas más una.