Formulación de regresión de crestas como restringida versus penalizada: ¿Cómo son equivalentes?

Parece que estoy malentendido una afirmación sobre los métodos de regresión lineal que he visto en varios lugares. Los parámetros del problema son:

Entrada:

$N$ muestras de datos de cantidades de , cada una de las cuales consiste en una cantidad de "respuesta" y p cantidades de "predictor" x_ {ij}$p+1$$y_i$$p$$x_{ij}$

El resultado deseado es un "buen ajuste lineal" que predice la respuesta en función de los predictores donde un buen ajuste tiene pequeñas diferencias entre la predicción y la respuesta observada (entre otros criterios).

Salida: $p+1$ coeficientes $\beta_j$ donde $\beta_0 + \sum_{j=1}^p x_{ij} * \beta_j$ es un "buen ajuste" para predecir la cantidad de respuesta a partir de las cantidades de predictores.

Estoy confundido sobre el enfoque de "regresión de cresta" para este problema. En "Los elementos del aprendizaje estadístico" de Hastie, Tibshirani y Friedman, página 63, la regresión de la cresta se formula de dos maneras.

Primero como el problema de optimización restringida :

$${argmin}_\beta \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ sujeto a la restricción $$\sum_{j=1}^p \beta_i^2 \leq t$$ para algún parámetro positivo t.

El segundo es el problema de optimización penalizado : para algún parámetro positivo .

$${argmin}_\beta ( \lambda \sum_{j=1}^p { \beta_j^2 } ) + \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ $\lambda$

El texto dice que estas formulaciones son equivalentes y que existe una "correspondencia uno a uno entre los parámetros y ". He visto este reclamo (y otros similares) en varios lugares además de este libro. Creo que me estoy perdiendo algo porque no entiendo cómo las formulaciones son equivalentes según lo entiendo.$\lambda$$t$

Considere el caso donde y con , e , . Al elegir el parámetro la formulación restringida se convierte en:$N=2$$p=1$$y_1=0$$x_{1,1}=0$$y_2=1$$x_{1,2}=1$$t=2$

$${argmin}_{\beta_0,\beta_1} ( \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$

expandido a

$${argmin}_{\beta_0,\beta_1} ( 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$

Para resolver esto, encuentre la solución donde las derivadas parciales con respecto a y son cero: con la solución y . Tenga en cuenta que según sea necesario.$\beta_0$$\beta_1$

$$4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $\beta_0 = 0$$\beta_1 = 1$$\beta_0^2 + \beta_1^2 \le t$

¿Cómo se relaciona esta derivación con la otra formulación? De acuerdo con la explicación, hay un valor de corresponde únicamente a donde, si optimizamos la formulación penalizada del problema, obtendremos los mismos y . En este caso, la forma penalizada se convierte en expandido a Para resolver esto, encuentra la solución donde las derivadas parciales con respecto a$\lambda$$t$$\beta_0$$\beta_1$

$${argmin}_{\beta_0,\beta_1} ( \lambda (\beta_0^2 + \beta_1^2) + \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$ $${argmin}_{\beta_0,\beta_1} ( \beta_{0}^{2} \lambda + 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} \lambda + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$ $\beta_0$ y son cero: para estas ecuaciones obtengo la solución Si eso es correcto, la única forma de obtener es establecer . Sin embargo, esa sería la misma que necesitaríamos para , entonces, ¿qué quieren decir con "correspondencia uno a uno"?$\beta_1$ $$2 \beta_{0} \lambda + 4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} \lambda + 2 \beta_{1} - 2 = 0$$ $$\beta_0 = \lambda/(\lambda^2 + 3\lambda + 1)$$ $$\beta_1 = (\lambda + 1)/((\lambda + 1)(\lambda + 2) - 1)$$ $\beta_0 = 0$$\lambda = 0$$\lambda$$t = 4$

En resumen, estoy totalmente confundido por las dos presentaciones y no entiendo cómo se corresponden entre sí. No entiendo cómo puede optimizar un formulario y obtener la misma solución para el otro formulario o cómo está relacionado con . Esta es solo una instancia de este tipo de correspondencia, hay otras para otros enfoques como el lazo, y no entiendo ninguna de ellas.$\lambda$$t$

Que alguien me ayude por favor.

La confusión aquí proviene de tratar de trabajar en un rango de valores o donde no hay restricción en la regresión.$t$$\lambda$

En su ejemplo, en el ajuste perfecto de la línea de regresión, la suma de los cuadrados de los coeficientes de regresión es 1. Entonces, el valor de (o cualquier valor de que sea 1 o mayor) no impone restricciones a la regresión. En el espacio de valores , toda la regresión sin restricciones está representada por . No hay correspondencia uno a uno entre y en la regresión sin restricciones ; todos los valores de de 1 o mayores en este caso corresponden a . Esa fue la región que has estado investigando.$t=2$$t$$\lambda$$\lambda = 0$$t$$\lambda$ $t$$\lambda=0$

Solo un valor de menor que 1 colocará una restricción en la regresión, correspondiente a los valores positivos de . Como muestra la respuesta aceptada a esta página , la correspondencia uno a uno entre y contiene " cuando la restricción es vinculante ", en su ejemplo para valores de menores que 1.$t$$\lambda$$t$$\lambda$$t$

La clásica regresión de cresta ( regularización de Tikhonov ) viene dada por:

$$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$$

La afirmación anterior es que el siguiente problema es equivalente:

$$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$$

Definamos como la solución óptima del primer problema y como la solución óptima del segundo problema.$\hat{x}$$\tilde{x}$

La afirmación de equivalencia significa que . Es decir, siempre puede tener un par de y , por lo que la solución del problema es la misma.$\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$
$t$$\lambda \geq 0$

¿Cómo podemos encontrar un par?
Bueno, resolviendo los problemas y observando las propiedades de la solución.
Ambos problemas son convexos y suaves, por lo que debería simplificar las cosas.

La solución para el primer problema se da en el punto en que el gradiente desaparece, lo que significa:

$$\hat{x} - y + 2 \lambda \hat{x} = 0$$

Las condiciones de KKT del segundo problema establecen:

$$\tilde{x} - y + 2 \mu \tilde{x} = 0$$

y

$$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$$

La última ecuación sugiere que o .$\mu = 0$${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Presta atención a que las 2 ecuaciones básicas son equivalentes.
Es decir, si y ambas ecuaciones. $\hat{x} = \tilde{x}$$\mu = \lambda$

Entonces significa que en caso de que uno debe establecer que significa que para suficientemente grande para que ambos sean equivalentes, debe establecer .${\left\| y \right\|}_{2}^{2} \leq t$$\mu = 0$$t$$\lambda = 0$

En el otro caso, uno debe encontrar donde:$\mu$

$${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$$

Esto es básicamente cuando${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Una vez que usted encuentra que las soluciones chocará.$\mu$

Con respecto al caso , bueno, funciona con la misma idea. La única diferencia es que no tenemos una solución cerrada, por lo tanto, derivar la conexión es más complicado.${L}_{1}$

Eche un vistazo a mi respuesta en StackExchange Cross Validated Q291962 y StackExchange Signal Processing Q21730 - Significado de en Basis Pursuit$\lambda$ .