Estoy leyendo el artículo fundamental Aprendizaje de secuencia a secuencia con redes neuronales de Ilya Sutskever y Quoc Le. En la primera página, menciona brevemente que:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
¿Alguien puede describir brevemente cómo ordenar números usando solo 2 capas ocultas?
Respuestas:
Investigando un poco, encontré un documento que demuestra que la clasificación se puede realizar con un máximo de 3 capas, y que su solución es óptima si restringe el tamaño de la red para que sea polinomial wrt al número de números de entrada:
Profundidad de redes neuronales eficientes para problemas de división y relacionados , consulte el Teorema 7 en la página 955 (página 10 en el PDF).
Me imagino que uno podría idear pesas manualmente para hacer el trabajo exactamente, pero ¿quizás el punto sea poder entrenar una? Un par de ejemplos:
¿Cómo ordenar los números usando la red neuronal convolucional?