Las redes Hopfield pueden almacenar un vector y recuperarlo a partir de una versión ruidosa del mismo. Lo hacen estableciendo pesos para minimizar la función de energía cuando todas las neuronas se establecen iguales a los valores del vector, y recuperan el vector usando la versión ruidosa del mismo como entrada y permitiendo que la red se estabilice en un mínimo de energía.
Dejando de lado problemas como el hecho de que no hay garantía de que la red se asentará en el mínimo más cercano, etc., problemas eventualmente resueltos con máquinas Boltzmann y eventualmente con propagación inversa, el avance fue que son un punto de partida para tener representaciones abstractas. Dos versiones del mismo documento recordarían el mismo estado, estarían representados, en la red, por el mismo estado.
Como el propio Hopfield escribió en su artículo de 1982 Redes neuronales y sistemas físicos con habilidades computacionales colectivas emergentes
El modelado actual podría estar relacionado con la forma en que una entidad o Gestalt es recordada o categorizada sobre la base de entradas que representan una colección de sus características.
Por otro lado, el avance del aprendizaje profundo fue la capacidad de construir representaciones jerárquicas múltiples de la entrada, lo que eventualmente condujo a facilitar la vida de los profesionales de IA, simplificando la ingeniería de características. (véase, por ejemplo , Aprendizaje de representación: una revisión y nuevas perspectivas , Bengio, Courville, Vincent).
Desde un punto de vista conceptual, creo que uno puede ver el aprendizaje profundo como una generalización de las redes de Hopfield: desde una sola representación hasta una jerarquía de representación.
¿Es eso cierto desde un punto de vista computacional / topológico también? Sin considerar cuán "simples" eran las redes de Hopfield (neuronas de 2 estados, función de energía no dirigida), se puede ver cada capa de una red como una red de Hopfield y todo el proceso como una extracción secuencial de Gestalt previamente memorizado, y una reorganización de estas Gestalt?