Tengo la impresión de que cuando las personas se refieren a una red de "creencias profundas", se trata básicamente de una red neuronal pero muy grande. ¿Es esto correcto o una red de creencias profundas también implica que el algoritmo en sí mismo es diferente (es decir, no alimenta la red neuronal sino algo con retroalimentación)?
Respuestas:
"Redes neuronales" es un término generalmente utilizado para referirse a las redes neuronales de avance. Las redes neuronales profundas son redes neuronales de avance con muchas capas.
Una red de creencias profundas no es lo mismo que una red neuronal profunda.
Como ha señalado, una red de creencias profundas tiene conexiones no dirigidas entre algunas capas. Esto significa que la topología de DNN y DBN es diferente por definición.
Las capas no dirigidas en el DBN se denominan Máquinas de Boltzmann restringidas. Estas capas se pueden entrenar utilizando un algoritmo de aprendizaje no supervisado (divergencia contrastante) que es muy rápido (¡Aquí hay un enlace ! Con detalles).
Algunos comentarios más:
Las soluciones obtenidas con redes neuronales más profundas corresponden a soluciones que funcionan peor que las soluciones obtenidas para redes con 1 o 2 capas ocultas. A medida que la arquitectura se profundiza, se hace más difícil obtener una buena generalización utilizando un Deep NN.
En 2006, Hinton descubrió que se podían lograr resultados mucho mejores en arquitecturas más profundas cuando cada capa (RBM) se entrena previamente con un algoritmo de aprendizaje no supervisado (divergencia contrastante). Luego, la Red se puede entrenar de forma supervisada utilizando la propagación hacia atrás para "ajustar" los pesos.
Dicho esto, como lo menciona David: " las redes de creencias profundas tienen conexiones no dirigidas entre las dos capas superiores, como en un RBM ", lo que contrasta con las redes neuronales de alimentación estándar. En general, el problema principal en un DNN se refiere a la capacitación del mismo que definitivamente es más complicado que un NN de una sola capa. (No estoy trabajando en NN, simplemente sucedió que leí el periódico recientemente).
Referencia: 1. Redes neuronales profundas para el modelado acústico en reconocimiento de voz , por Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath y Brian Kingsbury en la IEEE Signal Processing Magazine [82] Noviembre de 2012 ( Enlace al artículo original en MSR )
Me alegra ver los comentarios de Alex aquí. He estado explicando a la gente que DL es una red neuronal típica. No hay diferencia en el esquema de aprendizaje. Un ANN anterior escrito en c (70s) tiene una opción para configurar múltiples capas ocultas. En realidad, probé para determinar si más capas ocultas mejoran la precisión. El número de capas no hace que DL sea diferente de ANN.
Odio este tipo de términos de comercialización. Ahora tenemos tantos expertos en DL que no saben que DL es realmente ANN. Debido a que la comercialización es tan buena y fuerte, la gente cree que hemos avanzado mucho en el área de Machine Learning. ¡Pero nada es nuevo!