Preguntas etiquetadas con activation-function

Las funciones de activación se utilizan para introducir no linealidades en la salida lineal del tipo w * x + b en una red neuronal. Lo que puedo entender intuitivamente para las funciones de activación como sigmoide. Entiendo las ventajas de ReLU, que evita las neuronas muertas durante la propagación …

19 machine-learning  neural-network  deep-learning  activation-function 

Estaba revisando el documento BERT que usa GELU (Unidad lineal de error gaussiano) que establece la ecuación como que a su vez se aproxima aGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) ¿Podría simplificar la ecuación y explicar cómo se ha aproximado?

18 activation-function  bert  mathematics 

Aquí la respuesta se refiere a gradientes de desaparición y explosión que han estado en sigmoidfunciones de activación similares, pero supongo que Relutiene una desventaja y es su valor esperado. no hay limitación para la salida de Reluy, por lo tanto, su valor esperado no es cero. Recuerdo el tiempo …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

He estudiado los tipos de funciones de activación para redes neuronales. Las funciones en sí son bastante sencillas, pero la diferencia de la aplicación no está del todo clara. Es razonable que se diferencie entre las funciones de tipo lógico y lineal, dependiendo de la salida binaria / continua deseada, …

15 neural-network  activation-function 

¿Cómo se usa LeakyRelu como función de activación en secuencia DNN en keras? Si quiero escribir algo similar a: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) ¿Cuál es la solución? ¿Poner LeakyRelu similar a Relu? La segunda pregunta es: ¿cuál es la mejor configuración general para ajustar los parámetros de LeakyRelu? ¿Cuándo …

14 deep-learning  keras  activation-function