¿Relación entre tasa de aprendizaje y número de capas ocultas?

¿Existe alguna regla general entre la profundidad de una red neuronal y la tasa de aprendizaje? Me he dado cuenta de que cuanto más profunda es la red, más baja debe ser la tasa de aprendizaje.

Si eso es correcto, ¿por qué es eso?

Esta pregunta ha sido respondida aquí:

Con las redes neuronales, ¿la tasa de aprendizaje debería ser de alguna manera proporcional a los tamaños de capa ocultos? ¿Deberían afectarse mutuamente?

La respuesta corta es sí, hay una relación. Sin embargo, la relación no es tan trivial, todo lo que puedo decir es que lo que ves es porque la superficie de optimización se vuelve más compleja a medida que aumenta el número de capas ocultas, por lo tanto, las tasas de aprendizaje más pequeñas son generalmente mejores. Si bien es sorprendente que los mínimos locales sean una posibilidad con una tasa de aprendizaje baja, es mucho mejor que una superficie compleja y una tasa de aprendizaje alta.