¿Las redes neuronales utilizan una codificación eficiente?

Mi pregunta se refiere a la relación entre la hipótesis de codificación eficiente que se describe en la página de Wikipedia sobre codificación eficiente y algoritmos de aprendizaje de redes neuronales.

¿Cuál es la relación entre la hipótesis de codificación eficiente y las redes neuronales?

¿Hay modelos de redes neuronales inspirados explícitamente en la hipótesis de codificación eficiente?

¿O sería más justo decir que todos los algoritmos de aprendizaje de redes neuronales se basan al menos implícitamente en una codificación eficiente?

neural-networks information-theory

— Mike NZ
fuente

¿Quizás los autoencoders dispersos son lo que buscas? (Si su interés es menos técnico y más amplio / filosófico, la sugerencia del usuario Kenorb puede ser apropiada.)

— GeoMatt22

Interesante pregunta. Mi conjetura es que las NN no están cerca de lo que podemos considerar "eficientes". Creo que las técnicas de uso común como Dropout en realidad buscarían disminuir la eficiencia de codificación.

— kbrose

Otra referencia: La hipótesis del boleto de lotería, arxiv.org/abs/1803.03635 , el artículo habla sobre encontrar las redes secundarias que trabajan duro, pero creo que puede haber conexiones a una codificación eficiente

— Kbrose

No soy un experto en teoría de la información, pero no creo que haya una relación entre la codificación eficiente de lo que hacen las NN, ni estoy al tanto de ningún intento histórico o presente de incorporar una codificación eficiente. Sin embargo, podría ser cierto que los NN codifican señales de manera eficiente: arxiv.org/abs/1503.02406

— shadowtalker

No tengo suficiente (todavía) para hacer de esto una respuesta, pero me parece que se relaciona con la pregunta de si las NN realmente solo memorizan, en lugar de aprender.

— Bill Clark

Creo que se puede argumentar que se ha hecho una conexión. Me disculparé por no publicar mi fuente ya que no pude encontrarla, pero esto vino de una vieja diapositiva que presentó Hinton. En él, afirmó que una de las formas fundamentales de pensar para aquellos que hacen aprendizaje automático (ya que la presentación es anterior al uso común de la palabra aprendizaje profundo) es que existe una transformación óptima de los datos de manera que los datos puedan ser fácilmente aprendido. Creo que para las redes neuronales, la 'transformación óptima' de los datos a través del respaldo, ES la hipótesis de codificación eficiente en acción. De la misma manera que con un núcleo adecuado, muchos espacios se pueden clasificar fácilmente con modelos lineales, aprendiendo que la forma correcta de transformar y almacenar los datos es análoga a cómo y cómo deberían organizarse las neuronas para representar los datos.

— Emu anónimo
fuente