¿Es necesaria la Formación de Redes Profundas de Greedy Layer-Wise para un entrenamiento exitoso o es suficiente el descenso de gradiente estocástico?

¿Es posible lograr resultados de vanguardia utilizando solo la propagación hacia atrás (sin entrenamiento previo )?

¿O es para que todos los enfoques de récord utilicen alguna forma de pre-entrenamiento?

¿La retropropagación sola es lo suficientemente buena?

El entrenamiento previo ya no es necesario . Su propósito era encontrar una buena inicialización para los pesos de la red a fin de facilitar la convergencia cuando se empleaba un gran número de capas. Hoy en día, tenemos ReLU , abandono y normalización por lotes , todo lo cual contribuye a resolver el problema del entrenamiento de redes neuronales profundas. Citando de la publicación de reddit vinculada anteriormente (por el ganador del desafío Galaxy Zoo Kaggle):

Diría que la "era de pre-entrenamiento", que comenzó alrededor de 2006, terminó a principios de los años 10 cuando las personas comenzaron a usar unidades lineales rectificadas (ReLU), y luego abandonaron, y descubrieron que el pre-entrenamiento ya no era beneficioso para esto. tipo de redes.

Del documento de ReLU (vinculado anteriormente):

Las redes rectificadoras profundas pueden alcanzar su mejor rendimiento sin requerir ningún entrenamiento previo sin supervisión

Dicho esto, ya no es necesario , pero aún puede mejorar el rendimiento en algunos casos donde hay demasiadas muestras sin supervisión (sin etiqueta), como se ve en este documento .