Preguntas etiquetadas con activation-function

Elijo la función de activación para la capa de salida en función de la salida que necesito y las propiedades de la función de activación que conozco. Por ejemplo, elijo la función sigmoide cuando trato con probabilidades, una ReLU cuando trato con valores positivos y una función lineal cuando trato …

13 neural-networks  machine-learning  math  activation-function 

Hay varias funciones de activación, como ReLU, sigmoid o . ¿Qué sucede cuando mezclo las funciones de activación?tanhtanh\tanh Recientemente descubrí que Google ha desarrollado la función de activación Swish que es (x * sigmoide). Al alterar la función de activación, ¿puede aumentar la precisión en pequeños problemas de redes neuronales …

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Me topé con el concepto de cobertura neuronal, que es la proporción de neuronas activadas y neuronas totales en una red neuronal. Pero, ¿qué significa que una neurona se "active"? Sé qué son las funciones de activación, pero ¿qué significa activarse, por ejemplo, en el caso de una ReLU o …

10 neural-networks  ai-basics  concepts  activation-function 

Creo que la ventaja de usar Leaky ReLU en lugar de ReLU es que de esta manera no podemos tener un gradiente de fuga. La ReLU paramétrica tiene la misma ventaja con la única diferencia de que la pendiente de la salida para las entradas negativas es un parámetro que …

10 neural-networks  activation-function  relu