¿Alguien puede explicar el algoritmo de propagación hacia atrás? [duplicar]

¿Qué es el algoritmo de retropropagación y cómo funciona?

El algoritmo de propagación hacia atrás es un algoritmo de descenso de gradiente para ajustar un modelo de red neuronal. (como lo mencionó @Dikran) Permítanme explicar cómo.

Formalmente: el uso del cálculo del gradiente al final de esta publicación dentro de la ecuación [1] a continuación (que es una definición del descenso del gradiente) proporciona el algoritmo de propagación hacia atrás como un caso particular del uso de un descenso del gradiente.

Un modelo de red neuronal Formalmente, arreglamos ideas con un modelo simple de una sola capa:

donde g : R → R y es : R M → R M son conocidos por todos m = 1 ... , M , s ( x ) [ m ] = σ ( x [ m ] ) , y

$$f(x)=g(A^1(s(A^2(x))))$$ $g:\mathbb{R} \rightarrow \mathbb{R}$$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$$m=1\dots,M$$s(x)[m]=\sigma(x[m])$ , A 2 R p → R M son funciones afines desconocidas. La función σ : R → R se llama función de activación en el marco de clasificación.$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

Se toma una función de pérdida cuadrática para arreglar ideas. Por lo tanto, los vectores de entrada de R p pueden ajustarse a la salida real ( y 1 , ... , y n ) de R (podrían ser vectores) minimizando la pérdida empírica: R n ( A 1 , A 2 ) = n ∑ i = 1 ( y i - f ( $(x_1,\dots,x_n)$$\mathbb{R}^p$$(y_1,\dots,y_n)$$\mathbb{R}$ con respecto a la elección de A 1 y A 2 .

$$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$$ $A^1$$A^2$

$\mathcal{R}$

$$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$$ $(\gamma_l)_l$$\mathcal{R}$$\mathbf{a}_l=(A^1_{l},A^2_{l})$

$\mathcal{R}$$\nabla_1 \mathcal{R}$$\mathcal{R}$$A^1$$\nabla_2\mathcal{R}$$\mathcal{R}$$A^2$$z_i=A^1(s(A^2(x_i)))$

$$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$$ $m=1,\dots,M$ $$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$$

$x[a:b]$$x$$a$$b$

La retropropagación es una forma de calcular la derivada de la función de error con respecto a los pesos, de modo que el modelo pueda ser entrenado mediante métodos de optimización de descenso de gradiente: es básicamente la aplicación de la "regla de la cadena". Realmente no hay mucho más que eso, así que si te sientes cómodo con el cálculo, esa es básicamente la mejor manera de verlo.

Si no se siente cómodo con el cálculo, una mejor manera sería decir que sabemos cuán mal están las unidades de salida porque tenemos una salida deseada con la que comparar la salida real. Sin embargo, no tenemos una salida deseada para las unidades ocultas, entonces, ¿qué hacemos? La regla de propagación hacia atrás es básicamente una forma de echar la culpa del error de las unidades de salida a las unidades ocultas. Cuanta más influencia tenga una unidad oculta en una unidad de salida en particular, más culpa tiene el error. La culpa total asociada con una unidad oculta da una indicación de cuánto deben cambiar los pesos de la capa de entrada a oculta. Las dos cosas que rigen la cantidad de culpa que se devuelve es el peso que conecta los pesos de la capa oculta y de salida (obviamente) y la salida de la unidad oculta (si grita en lugar de susurrar, es probable que tenga una mayor influencia). El resto son solo las sutilezas matemáticas que convierten esa intuición en la derivada del criterio de entrenamiento.

¡También recomendaría el libro de los obispos para una respuesta adecuada! ; o)

Es un algoritmo para entrenar redes neuronales multicapa de alimentación hacia adelante (perceptrones multicapa). Hay varios applets de Java agradables en la web que ilustran lo que está sucediendo, como este: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html . Además, el libro de Bishop sobre NN es la referencia estándar de escritorio para cualquier cosa que tenga que ver con NN.