Capa Softmax en una red neuronal

43

Estoy tratando de agregar una capa softmax a una red neuronal entrenada con retropropagación, así que estoy tratando de calcular su gradiente.

La salida de softmax es $h_j = \frac{e^{z_j}}{\sum{e^{z_i}}}$ donde $j$ es el número de neurona de salida.

Si lo obtengo, me sale

$\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j)$

Similar a la regresión logística. Sin embargo, esto está mal ya que mi verificación numérica de gradiente falla.

¿Qué estoy haciendo mal? Pensé que también necesitaba calcular las derivadas cruzadas (es decir, $\frac{\partial{h_j}}{\partial{z_k}}$ ) pero no estoy seguro de cómo hacer esto y mantener la dimensión del gradiente igual para que se ajuste al proceso de propagación hacia atrás.

neural-networks

— Corrió
fuente

3

Debe mejorar el título de su pregunta, ya que no se trata de agregar una capa softmax general a un NN, ya que su pregunta es específica sobre cómo falla la verificación de gradiente. Sugiero cambiar el título a "¿Por qué la propagación hacia atrás deja de funcionar correctamente cuando agrego una capa softmax a mi red neuronal?".

— Charlie Parker

43

Me siento un poco mal por dar mi propia respuesta para esto porque está bien capturado por la ameba y la juampa, excepto tal vez la intuición final sobre cómo el jacobiano puede reducirse a un vector.

Derivaste correctamente el gradiente de la diagonal de la matriz jacobiana, lo que quiere decir que

${\partial h_i \over \partial z_j}= h_i(1-h_j)\;\;\;\;\;\;: i = j$

y como lo dijo la ameba, también tienes que derivar las entradas diagonales del jacobiano, que producen

${\partial h_i \over \partial z_j}= -h_ih_j\;\;\;\;\;\;: i \ne j$

Estas dos definiciones de conceptos se pueden combinar convenientemente usando una construcción llamada el Delta de Kronecker , por lo que la definición del gradiente se convierte en

${\partial h_i \over \partial z_j}= h_i(\delta_{ij}-h_j)$

Entonces el jacobiano es una matriz cuadrada $\left[J \right]_{ij}=h_i(\delta_{ij}-h_j)$

Toda la información hasta este punto ya está cubierta por ameba y juampa. El problema es, por supuesto, que necesitamos obtener los errores de entrada de los errores de salida que ya están calculados. Como el gradiente del error de salida depende de todas las entradas, entonces el gradiente de la entrada es $\nabla h_i$ $x_i$

$[\nabla x]_k = \sum\limits_{i=1} \nabla h_{i,k}$

Dada la matriz jacobiana definida anteriormente, esto se implementa trivialmente como el producto de la matriz y el vector de error de salida:

$\vec{\sigma_l} = J\vec{\sigma_{l+1}}$

Si la capa softmax es su capa de salida, entonces combinarla con el modelo de costo de entropía cruzada simplifica el cálculo simplemente

$\vec{\sigma_l} = \vec{h}-\vec{t}$

donde es el vector de etiquetas, y es la salida de la función softmax. La forma simplificada no solo es conveniente, sino que también es extremadamente útil desde el punto de vista de la estabilidad numérica. $\vec{t}$ $\vec{h}$

— Mranz
fuente

con

, es

\vec{σ_{l}} = (σ_{l, 1}, σ_{l, 2}, . . ., σ_{l, k})

$\vec{\sigma_l} = (\sigma_{l,1}, \sigma_{l,2}, ..., \sigma_{l,k})$

? (solo tratando de dar sentido a lo que es 'el gradiente' en este caso)

σ_{l, j} = \frac{\partial C}{\partial z_{j}}

$\sigma_{l,j} = \frac{\partial C}{\partial z_j}$

— Alexandre Holden Daly

Si, eso es correcto.

— Mranz

¿Podría alguien explicar cuáles son los términos delta en minúsculas en el Delta de Kronecker y cómo calcularlos?

— danijar

Estoy atrapado en este problema por un tiempo. Para aclarar. Tienes un vector (pre softmax) y luego calculas softmax. Como los valores de softmax dependen de todos los valores de entrada, se necesita la matriz jacobiana real. Luego tomas la matriz jacobiana y sumas reduces las filas para obtener un solo vector de fila, que usas para el descenso de gradiente como de costumbre. ¿Es todo esto 100% correcto?

— harveyslash

14

La derivada está mal. Debería ser,

\frac{\partial h_{j}}{\partial z_{k}} = h_{j} δ_{k j} - h_{j} h_{k}

$\frac{\partial h_{j}}{\partial z_{k}} = h_{j}\delta_{kj}-h_{j}h_{k}$

revisa tus cálculos nuevamente. Además, la expresión dada por la ameba para la entropía cruzada no es del todo correcta. Para un conjunto de muestras de datos extraídos de diferentes clases de , se lee, $C$

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n})

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n})$

donde el superíndice se ejecuta sobre el conjunto de muestras, es el valor del componente k-ésimo del objetivo para la n-ésima muestra. Aquí se supone que está utilizando un esquema de codificación 1-de-C, es decir, . En tal caso, todas las t son cero, excepto el componente que representa su clase correspondiente, que es una. $t_{k}^{n}$ $t_{k}^{n}$

Tenga en cuenta que las t son constantes. Por lo tanto, minimizar este funcional es equivalente a minimizar,

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n}) + \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln t_{k}^{n} = - \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln \frac{y_{k} (x^{n})}{t_{k}^{n}}

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n}) + \sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln t_{k}^{n} = -\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln \frac{y_{k}(\boldsymbol{x}^{n})}{t_{k}^{n}}$

que tiene la ventaja de que el jacobiano toma una forma muy conveniente, a saber,

\frac{\partial E}{\partial z_{j}} = h_{j} - t_{j}

$\frac{\partial E}{\partial z_{j}} = h_{j}-t_{j}$

Le recomendaría que obtenga una copia de Bishop's Neural Networks for Pattern Recognition . En mi humilde opinión sigue siendo el mejor libro sobre redes neuronales.

— jpmuc
fuente

14

Cada salida del softmax depende de todas las entradas, por lo que el gradiente es de hecho una matriz jacobiana completa. correctamente , pero también necesita si . Supongo que si puedes derivar la primera expresión, también deberías poder derivar fácilmente la segunda. $\partial_j h_j = \frac{\partial h_j}{\partial z_j}=h_j(1-h_j)$ $\partial_k h_j=-h_jh_k$ $j \neq k$

No estoy seguro de qué problema ve con la propagación inversa: en la capa softmax tiene salidas y entradas, por lo que un error de cada salida debe propagarse a cada entrada, y esa es precisamente la razón por la que necesita todo el jacobiano. Por otro lado, normalmente tendría una función de costo asociada con la salida de softmax, por ejemplo, donde son sus salidas deseadas (cuando realiza la clasificación, a menudo una de ellas es igual a 1 , y otros a 0). Entonces, de hecho, está interesado en , que se puede calcular con una regla de cadena que resulta en una expresión ordenada, y de hecho es un vector (no una matriz). $j$ $j$

C = - \sum_{j} t_{j} \log h_{j},

$C=-\sum_j t_j \log h_j,$

t_{j}

$t_j$

\frac{\partial C}{\partial z_{j}}

$\frac{\partial C}{\partial z_j}$

— ameba dice Reinstate Monica
fuente

1

Intentaré describir mejor mi problema, de acuerdo con, por ejemplo, este tutorial ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm , necesito multiplicar los pesos y delta por elementos con el derivado (paso número 3). Entonces, si tengo la matriz jacobiana completa, las dimensiones no se ajustan. Gracias.

— Corrió el

¿Sabes cómo proceder si no es un softmax, sino una capa oculta habitual? Imagine que cada unidad en esta capa obtiene entradas de todas las unidades de la capa anterior (es decir, esta capa está "completamente conectada"), que normalmente es el caso. Luego, también debe propagar de nuevo los errores a través de esta capa, y las derivadas también forman una matriz jacobiana. Si está confundido acerca de cómo hacerlo, entonces su confusión no está relacionada con softmax.

— ameba dice Reinstate Monica

1

Lo implementé con éxito para capas lineales y sigmoideas porque la derivada es un vector, por lo que no tuve problemas con las dimensiones.

— Corrió el

Lo siento, Ran, tal vez solo estoy siendo estúpido, pero si tienes una capa sigmoidea completamente conectada a la capa anterior, entonces la salida (o entrada) a cada unidad tendrá derivada con respecto a la conexión entrante de cada unidad en el capa anterior, es decir, todas las derivadas forman una matriz 2D, n'est-ce pas?

j

$j$

i

$i$

— ameba dice Reinstate Monica