Ejemplo paso a paso de diferenciación automática en modo inverso

No estoy seguro si esta pregunta pertenece aquí, pero está estrechamente relacionada con los métodos de gradiente en la optimización, que parece estar en el tema aquí. De todos modos, siéntase libre de migrar si cree que alguna otra comunidad tiene una mejor experiencia en el tema.

En resumen, estoy buscando un ejemplo paso a paso de diferenciación automática en modo inverso . No hay mucha literatura sobre el tema y las implementaciones existentes (como la de TensorFlow ) son difíciles de entender sin conocer la teoría detrás de esto. Por lo tanto estaría muy agradecido si alguien podría mostrar en detalle lo que pase en , la forma en que procesamos y lo que sacamos de la gráfica computacional.

Un par de preguntas con las que tengo más dificultades:

semillas : ¿por qué las necesitamos?
reglas de diferenciación inversa : sé cómo hacer una diferenciación hacia adelante, pero ¿cómo vamos hacia atrás? Por ejemplo, en el ejemplo de esta sección , ¿cómo sabemos que ? $\bar{w_2}=\bar{w_3}w_1$
¿trabajamos solo con símbolos o pasamos valores reales ? Por ejemplo, en el mismo ejemplo , ¿son y símbolos o valores? $w_i$ $\bar{w_i}$

— amigo
fuente

"Aprendizaje automático práctico con Scikit-Learn y TensorFlow" El Apéndice D ofrece una muy buena explicación en mi opinión. Lo recomiendo.

— Agustín Barrachina

Digamos que tenemos la expresión y queremos encontrar derivados y . El modo inverso AD divide esta tarea en 2 partes, a saber, pases hacia adelante y hacia atrás. $z = x_1x_2 + \sin(x_1)$ $\frac{dz}{dx_1}$ $\frac{dz}{dx_2}$

Pase adelantado

Primero, descomponemos nuestra expresión compleja en un conjunto de primitivas, es decir, expresiones que consisten en, a lo sumo, llamada de función única. Tenga en cuenta que también cambio el nombre de las variables de entrada y salida por coherencia, aunque no es necesario:

w_{1} = x_{1}

$w_1 = x_1$

w_{2} = x_{2}

$w_2 = x_2$

w_{3} = w_{1} w_{2}

$w_3 = w_1w_2$

w_{4} = \sin (w_{1})

$w_4 = \sin(w_1)$

w_{5} = w_{3} + w_{4}

$w_5 = w_3 + w_4$

z = w_{5}

$z = w_5$

La ventaja de esta representación es que las reglas de diferenciación para cada expresión separada ya son conocidas. Por ejemplo, sabemos que la derivada de es , y entonces . Usaremos este hecho en el paso inverso a continuación. $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

Esencialmente, el pase directo consiste en evaluar cada una de estas expresiones y guardar los resultados. Digamos que nuestras entradas son: y . Entonces tenemos: $x_1 = 2$ $x_2 = 3$

w_{1} = x_{1} = 2

$w_1 = x_1 = 2$

w_{2} = x_{2} = 3

$w_2 = x_2 = 3$

w_{3} = w_{1} w_{2} = 6

$w_3 = w_1w_2 = 6$

w_{4} = \sin (w_{1}) = 0.9

$w_4 = \sin(w_1) ~= 0.9$

w_{5} = w_{3} + w_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = w_{5} = 6.9

$z = w_5 = 6.9$

Pase reverso

Aquí es donde comienza la magia, y comienza con la regla de la cadena . En su forma básica, la regla de la cadena establece que si tiene una variable que depende de que, a su vez, depende de , entonces: $t(u(v))$ $u$ $v$

\frac{d t}{d v} = \frac{d t}{d u} \frac{d u}{d v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

o, si depende de través de varias rutas / variables , por ejemplo: $t$ $v$ $u_i$

u_{1} = f (v)

$u_1 = f(v)$

u_{2} = g (v)

$u_2 = g(v)$

t = h (u_{1}, u_{2})

$t = h(u_1, u_2)$

entonces (ver prueba aquí ):

\frac{d t}{d v} = \sum_{i} \frac{d t}{d u_{i}} \frac{d u_{i}}{d v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

En términos de gráfico de expresión, si tenemos un nodo final y nodos de entrada , y la ruta de a pasa por los nodos intermedios (es decir, donde ), podemos encontrar derivadas como $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{d z}{d w_{i}} = \sum_{p \in p a r e n t s (i)} \frac{d z}{d w_{p}} \frac{d w_{p}}{d w_{i}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

En otras palabras, para calcular la derivada de la variable de salida wrt cualquier variable intermedia o de entrada , solo necesitamos conocer las derivadas de sus padres y la fórmula para calcular la derivada de la expresión primitiva . $z$ $w_i$ $w_p = f(w_i)$

El pase inverso comienza al final (es decir, ) y se propaga hacia atrás a todas las dependencias. Aquí tenemos (expresión para "semilla"): $\frac{dz}{dz}$

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

Eso puede leerse como "el cambio en da como resultado exactamente el mismo cambio en ", lo cual es bastante obvio. $z$ $z$

Entonces sabemos que y así: $z = w_5$

\frac{d z}{d w_{5}} = 1

$\frac{dz}{dw_5} = 1$

$w_5$ depende linealmente de y , entonces y . Usando la regla de la cadena encontramos: $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{d z}{d w_{3}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{3}} = 1 \times 1 = 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{d z}{d w_{4}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{4}} = 1 \times 1 = 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

De la definición y las reglas de derivadas parciales, encontramos que . Así: $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d z}{d w_{2}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{2}} = 1 \times w_{1} = w_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

Lo cual, como ya sabemos por pase adelantado, es:

\frac{d z}{d w_{2}} = w_{1} = 2

$\frac{dz}{dw_2} = w_1 = 2$

Finalmente, contribuye a través de y . Una vez más, a partir de las reglas de derivadas parciales, sabemos que y . Así: $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{d z}{d w_{1}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{1}} + \frac{d z}{d w_{4}} \frac{d w_{4}}{d w_{1}} = w_{2} + \cos (w_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

Y de nuevo, dadas las entradas conocidas, podemos calcularlo:

\frac{d z}{d w_{1}} = w_{2} + \cos (w_{1}) = 3 + \cos (2) = 2.58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

Como y son solo alias para y , obtenemos nuestra respuesta: $w_1$ $w_2$ $x_1$ $x_2$

\frac{d z}{d x_{1}} = 2.58

$\frac{dz}{dx_1} = 2.58$

\frac{d z}{d x_{2}} = 2

$\frac{dz}{dx_2} = 2$

¡Y eso es!

Esta descripción se refiere solo a entradas escalares, es decir, números, pero de hecho también se puede aplicar a matrices multidimensionales como vectores y matrices. Dos cosas que uno debe tener en cuenta al diferenciar expresiones con tales objetos:

Los derivados pueden tener una dimensionalidad mucho más alta que las entradas o salidas, por ejemplo, la derivada del vector wrt es una matriz y la derivada de la matriz wrt es una matriz de 4 dimensiones (a veces denominada tensor). En muchos casos, estos derivados son muy escasos.
Cada componente en la matriz de salida es una función independiente de 1 o más componentes de la (s) matriz (s) de entrada. Por ejemplo, si y e son vectores, nunca depende de , sino solo del subconjunto de . En particular, esto significa que encontrar la derivada reduce a rastrear cómo depende de . $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

El poder de la diferenciación automática es que puede manejar estructuras complicadas de lenguajes de programación como condiciones y bucles. Sin embargo, si todo lo que necesita son expresiones algebraicas y tiene un marco lo suficientemente bueno como para trabajar con representaciones simbólicas, es posible construir expresiones completamente simbólicas. De hecho, en este ejemplo podríamos producir la expresión y calcular esta derivada para cualquier entrada que queramos. $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

— amigo
fuente

Muy útil pregunta / respuesta. Gracias. Solo una pequeña crítica: parece que te mueves en una estructura de árbol sin explicar (es cuando comienzas a hablar de padres, etc.)

— MadHatter

Además, no hará daño aclarar por qué necesitamos semillas.

— MadHatter

@MadHatter gracias por el comentario. Traté de reformular un par de párrafos (estos que se refieren a los padres) para enfatizar una estructura gráfica. También agregué "semilla" al texto, aunque este nombre en sí mismo puede ser engañoso en mi opinión: en AD semilla siempre es una expresión fija - , no es algo que pueda elegir o generar.

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

— amigo

¡Gracias! Me di cuenta cuando tienes que establecer más de una "semilla", generalmente uno elige 1 y 0. Me gustaría saber por qué. Quiero decir, uno toma el "cociente" de un wrt diferencial, por lo que "1" está al menos intuitivamente justificado. Pero ¿qué pasa con 0? ¿Y si uno tiene que recoger más de 2 semillas?

— MadHatter

Según tengo entendido, más de una semilla se usa solo en AD de modo directo. En este caso, establece la semilla en 1 para una variable de entrada que desea diferenciar con respecto y establece la semilla en 0 para todas las demás variables de entrada para que no contribuyan al valor de salida. En el modo inverso, establece la semilla en una variable de salida , y normalmente solo tiene una variable de salida. Supongo que puede construir una tubería AD en modo inverso con varias variables de salida y establecerlas todas, pero una en 0, para obtener el mismo efecto que en el modo directo, pero nunca he investigado esta opción.

— amigo