¿Cuál es la derivada de la función de activación ReLU?

¿Cuál es la derivada de la función de activación ReLU definida como:

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

¿Qué pasa con el caso especial donde hay una discontinuidad en la función en ? $x=0$

self-study neural-networks

— Tom Hale
fuente

La derivada es:

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

Y sin definir en . $x=0$

La razón por la que no está definida en es que sus derivadas izquierda y derecha no son iguales. $x=0$

— Jim
fuente

Entonces, en la práctica (implementación), ¿uno solo elige o para el caso ?

0

$0$

1

$1$

x = 0

$x=0$

— Tom Hale

La convención es que drdx = 1 (x> 0)

— neuroguy123

@TomHale ¿por qué no usar ? La implementación práctica es otra cuestión y merece una nueva pregunta. Esto es solo la matemática.

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

— Jim

@TomHale por cierto, vea la respuesta de Nouroz Rahman en quora.com/… : "[...] En mi opinión, en las funciones de biblioteca incorporadas (por ejemplo tf.nn.relu()

— Jim