Derivando el gradiente de una red neuronal de una sola capa wrt sus entradas, ¿cuál es el operador en la regla de la cadena?

El problema es:

Derive el gradiente con respecto a la capa de entrada para una sola red neuronal de capa oculta usando sigmoide para entrada -> oculto, softmax para oculto -> salida, con una pérdida de entropía cruzada.

Puedo pasar la mayor parte de la derivación usando la regla de la cadena, pero no estoy seguro de cómo realmente "encadenarlos" juntos.

Definir algunas anotaciones.

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , es función sigmoide $\sigma$

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , es función softmax $S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , es un vector de etiqueta real $y$

Luego, por la regla de la cadena,

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

Los gradientes individuales son:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

Ahora tenemos que encadenar las definiciones juntas. En variable única esto es fácil, simplemente multiplicamos todo juntos. En vectores, no estoy seguro de si usar la multiplicación por elementos o la multiplicación de matrices.

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

Donde es la multiplicación de vectores por elementos, y es una matriz multiplicada. Esta combinación de operaciones es la única forma en que podría para obtener un vector de dimensión , que sé que tiene que ser. $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

Mi pregunta es: ¿cuál es la forma de principios para que yo descubra qué operador usar? Estoy específicamente confundido por la necesidad del elemento inteligente entre y . $W_2^T$ $h$

¡Gracias!

neural-networks gradient

— amatsukawa
fuente

Me doy cuenta de que no es frecuente encontrar el gradiente wrt en las entradas. Creo que esto es una ventaja para calcular las incorporaciones de palabras, donde tiene la opción de optimizar los vectores de palabras de "entrada".

— amatsukawa

cómo deri dj / dTheta

— raaj

Respuestas:

Creo que la clave para responder a esta pregunta es señalar que la multiplicación por elementos es en realidad una forma abreviada y, por lo tanto, cuando deriva las ecuaciones, en realidad nunca la usa.

La operación real no es una multiplicación por elementos, sino una multiplicación matricial estándar de un gradiente con un jacobiano , siempre .

En el caso de la no linealidad, el jacobiano de la salida del vector de la no linealidad con respecto a la entrada del vector de la no linealidad pasa a ser una matriz diagonal. Por lo tanto, es cierto que el gradiente multiplicado por esta matriz es equivalente al gradiente de la salida de la no linealidad con respecto a la pérdida en cuanto al elemento multiplicado por un vector que contiene todas las derivadas parciales de la no linealidad con respecto a la entrada de la no linealidad, pero esto se desprende del ser jacobiano en diagonal. Debe pasar por el paso jacobiano para llegar a la multiplicación por elementos, lo que podría explicar su confusión.

En matemáticas, tenemos algunas no linealidades , una pérdida y una entrada a la no linealidad (esto podría ser cualquier tensor). La salida de la no linealidad tiene la misma dimensión --- como dice @Logan, la función de activación se define como elemento inteligente. $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

Queremos

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

Donde es el jacobiano de . Ampliando este jacobiano, obtenemos $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

Vemos que está en todas partes cero, excepto la diagonal. Podemos hacer un vector de todos sus elementos diagonales

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

Y luego use el operador de elementos sabios.

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— usuario0
fuente

Siempre que se vuelve proporcional a una función de activación, las operaciones se convierten en elementos sabios. Específicamente, usando su ejemplo, es un derivado de retropropagación y es un derivado de activación, y su producto es un producto de elementos, . Esto se debe a que las funciones de activación se definen como operaciones basadas en elementos en la red neuronal. $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

Vea las diapositivas de la conferencia cs224d en la página 30, también podría ser útil.

— Logan
fuente