Derivación de la función de costo de regresión lineal regularizada por curso Curso de aprendizaje automático

Tomé el curso de Andrew Ng "Machine Learning" a través de Coursera hace unos meses, sin prestar atención a la mayoría de las matemáticas / derivaciones y, en cambio, centrándome en la implementación y la practicidad. Desde entonces, he comenzado a volver a estudiar algunas de las teorías subyacentes y he revisado algunas de las conferencias del profesor Ng. Estaba leyendo su conferencia sobre "Regresión lineal regularizada" y vi que tenía la siguiente función de costo:

$$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$$

Luego, da el siguiente gradiente para esta función de costo:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$$

Estoy un poco confundido acerca de cómo pasa de uno a otro. Cuando intenté hacer mi propia derivación, obtuve el siguiente resultado:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$$

La diferencia es el signo 'más' entre la función de costo original y el parámetro de regularización en la fórmula del Prof. Ng que cambia a un signo 'menos' en su función de gradiente, mientras que eso no está sucediendo en mi resultado.

Intuitivamente entiendo por qué es negativo: estamos reduciendo el parámetro theta por la figura de gradiente, y queremos que el parámetro de regularización reduzca la cantidad que estamos cambiando el parámetro para evitar el sobreajuste. Estoy un poco atascado en el cálculo que respalda esta intuición.

Para su información, puede encontrar el mazo aquí , en las diapositivas 15 y 16.

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Ahora

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

Tenga en cuenta que en un modelo lineal (discutido en las páginas que menciona),$\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

Entonces para el caso lineal

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Parece que quizás tú y Andrew podrían tener errores tipográficos. Bueno, al menos dos de los tres parecemos.

En realidad, si revisa las notas de clase justo después del video, muestra la fórmula correctamente. Las diapositivas que ha alineado aquí muestran la diapositiva exacta del video.

En realidad, creo que es solo un error tipográfico.

En la diapositiva n. ° 16, escribe la derivada de la función de costo (con el término de regularización) con respecto a theta, pero está en el contexto del algoritmo de Descenso de gradiente . Por lo tanto, también está multiplicando esta derivada por . Aviso: en la segunda línea (de la diapositiva 16) tiene (como ha escrito), multiplicado por . Sin embargo, en la tercera línea, el término multiplicado sigue siendo negativo aunque, si la segunda línea fuera correcta, los signos negativos se habrían cancelado.- λ θ - $-\alpha$$-\lambda\theta$$-\alpha$

¿Tener sentido?