¿Cuál es la conexión entre la regularización y el método de multiplicadores de lagrange?

Para evitar el sobreajuste de las personas, las personas agregan un término de regularización (proporcional a la suma al cuadrado de los parámetros del modelo) con un parámetro de regularización a la función de costo de la regresión lineal. ¿Es este parámetro lo mismo que un multiplicador lagrange? Entonces, ¿es la regularización lo mismo que el método del multiplicador de lagrange? ¿O cómo están conectados estos métodos? $\lambda$$\lambda$

Supongamos que estamos optimizando un modelo con parámetros , minimizando algún criterio sujeto a una restricción en la magnitud del vector de parámetros (por ejemplo, para implementar un enfoque de minimización de riesgos estructurales mediante construyendo un conjunto anidado de modelos de complejidad creciente), necesitaríamos resolver:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

El lagrangiano para este problema es (advertencia: creo que ha sido un día largo ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Por lo tanto, se puede ver fácilmente que una función de costo regularizado está estrechamente relacionada con un problema de optimización restringido con el parámetro de regularización relacionado con la constante que gobierna la restricción ( ), y es esencialmente el multiplicador de Lagrange. $\lambda$$C$

Esto ilustra por qué, por ejemplo, la regresión de cresta implementa la minimización del riesgo estructural: la regularización es equivalente a poner una restricción en la magnitud del vector de peso y si entonces cada modelo que se puede hacer mientras se obedece la restricción que$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

también estará disponible bajo la restricción

$\|\vec{\theta}\|^2 < C_1$ .

Por lo tanto, reducir genera una secuencia de espacios de hipótesis de complejidad creciente.$\lambda$