Derivada de la pérdida de entropía cruzada en word2vec

Estoy tratando de abrirme camino a través del primer conjunto de problemas del material del curso en línea de la clase de Stanford cs224d y tengo algunos problemas con el problema 3A: cuando uso el modelo de omisión de word2vec con la función de predicción softmax y la función de pérdida de entropía cruzada, desea calcular los gradientes con respecto a los vectores de palabras pronosticados. Entonces, dada la función softmax:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

y función de entropía cruzada:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

necesitamos calcular $\frac{\partial{CE}}{\partial{\hat{r}}}$

Mis pasos son los siguientes:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

ahora dado $w_k$ es un vector caliente y yo es la clase correcta:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

¿Es esto correcto o podría simplificarse más? Quiero tratar de asegurarme de que estoy en el camino correcto ya que las soluciones del problema no se publican en línea. Además, hacer que las tareas escritas sean correctas es importante para poder realizar correctamente las tareas de programación.

machine-learning self-study word2vec

— slushi
fuente

Agregue la etiqueta de

— autoestudio

El segundo signo menos en la identidad del primer registro debe ser una ventaja. Intenté arreglarlo por ti, pero las ediciones deben tener al menos 6 caracteres: \

— FatalMojo

\frac{\partial C mi}{\partial \hat{r}} = - w_{yo} + \frac{1}{\sum_{j}^{El | V El |} mi X pag (w_{j}^{T} \hat{r})} \sum_{j}^{El | V El |} mi X pag (w_{j}^{T} \hat{r}) w_{j}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$ puede reescribirse como nota, las sumas están indexadas por j pero realmente deberían ser 2 variables diferentes. Esto sería más apropiado que se traduce en

\frac{\partial C mi}{\partial \hat{r}} = - w_{yo} + \sum_{j}^{El | V El |} (\frac{Exp (w_{j}^{⊤} \hat{r})}{\sum_{j}^{El | V El |} mi X pag (w_{j}^{T} \hat{r})} \cdot w_{j})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$

\frac{\partial C mi}{\partial \hat{r}} = - w_{yo} + \sum_{X}^{El | V El |} (\frac{Exp (w_{X}^{⊤} \hat{r})}{\sum_{j}^{El | V El |} mi X pag (w_{j}^{T} \hat{r})} \cdot w_{X})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$

\frac{\partial C mi}{\partial \hat{r}} = - w_{yo} + \sum_{X}^{El | V El |} Pr (w o r {re}_{X} ∣ \hat{r}, w) \cdot w_{X}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$

— FatalMojo
fuente

Relevante, repasa esa derivación en detalles en la conferencia 2 a las 38:00

— FatalMojo

¿Por qué las sumas deben ser indexadas por diferentes variables?

— Yamaneko

Solo para evitar confusiones. Matemáticamente significa lo mismo, pero es una buena práctica cambiar la etiqueta del índice al agregar una nueva suma.

— FatalMojo