Muchas funciones de activación en redes neuronales (sigmoide, tanh, softmax) son monótonas, continuas y diferenciables (excepto que puede haber un par de puntos, donde la derivada no existe).
Entiendo la razón de la continuidad y la diferenciabilidad, pero realmente no puedo entender una razón para la monotonisidad.
Respuestas:
Durante la fase de entrenamiento, la propagación hacia atrás informa a cada neurona cuánto debería influir en cada neurona en la siguiente capa. Si la función de activación no es monotónica, entonces aumentar el peso de la neurona podría causar que tenga menos influencia, lo contrario de lo que se pretendía. El resultado sería un comportamiento choático durante el entrenamiento, con la red poco probable de converger a un estado que produzca un clasificador preciso.