¿Cuál es el origen de las redes neuronales del codificador automático?

Busqué en Google, Wikipedia, Google Scholar y más, pero no pude encontrar el origen de los codificadores automáticos. Quizás sea uno de esos conceptos que evolucionó muy gradualmente, y es imposible rastrear un punto de partida claro, pero aún así me gustaría encontrar algún tipo de resumen de los pasos principales de su desarrollo.

El capítulo sobre autoencoders en el libro Deep Learning de Ian Goodfellow, Yoshua Bengio y Aaron Courville dice:

La idea de los autoencoders ha sido parte del panorama histórico de las redes neuronales durante décadas (LeCun, 1987; Bourlard y Kamp, 1988; Hinton y Zemel, 1994). Tradicionalmente, los codificadores automáticos se usaban para la reducción de la dimensionalidad o el aprendizaje de características.

Esta presentación de Pascal Vincent dice:

La denoising utilizando autoencoders clásicos se introdujo mucho antes (LeCun, 1987; Gallinari et al., 1987), como una alternativa a las redes Hopfield (Hopfield, 1982).

Esto parece implicar que antes existían "autoencoders clásicos": LeCun y Gallinari los usaron pero no los inventaron. No veo ningún rastro de "autoencoders clásicos" antes de 1987.

¿Algunas ideas?

De acuerdo con la historia proporcionada en Schmidhuber, " Aprendizaje profundo en redes neuronales: una visión general ", Neural Networks (2015), los codificadores automáticos se propusieron como un método para la capacitación previa sin supervisión en Ballard, "Aprendizaje modular en redes neuronales", Procedimientos AAAI (1987). Sin embargo, no está claro si esa fue la primera vez que se usaron codificadores automáticos; Es solo la primera vez que se utilizaron con el fin de pre-entrenar ANNs .

Como deja en claro la introducción del artículo de Schmidhuber, es algo difícil atribuir todas las ideas utilizadas en los ANN porque la literatura es diversa y la terminología ha evolucionado con el tiempo.

El siguiente documento habla sobre el codificador automático indirectamente y se remonta a 1986. (que es un año antes que el documento de Ballard en 1987)

DE Rumelhart, GE Hinton y RJ Williams, "Aprendizaje de representaciones internas por propagación de errores". , Procesamiento distribuido en paralelo. Vol 1: Fundamentos. MIT Press, Cambridge, MA, 1986.

El documento básicamente describe un tipo novedoso de red de avance en ese momento y su formalismo matemático.