KKT versus formulación sin restricciones de regresión de lazo

La regresión penalizada L1 (también conocida como lazo) se presenta en dos formulaciones. Deje que las dos funciones objetivas sean

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$ Entonces las dos formulaciones diferentes son

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$ sujeto a

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$ y, equivalente

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$ Usando las condiciones de Karush-Kuhn-Tucker (KKT), es fácil ver cómo la condición de estacionariedad para la primera formulación es equivalente a tomar el gradiente de la segunda formulación y establecerlo igual a 0. Lo que no puedo encontrar ni averiguar , es cómo la condición de holgura complementaria para la primera formulación,

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ , se garantiza que se cumple con la solución de la segunda formulación.

regression lasso penalized

— goodepic
fuente

Respuestas:

Las dos formulaciones son equivalentes en el sentido de que para cada valor de $t$ en la primera formulación, existe un valor de $\lambda$ para la segunda formulación de tal manera que las dos formulaciones tienen el mismo minimizador $\beta$ .

Aquí está la justificación:

Considere la formulación del lazo: Deje que el minimizador seay deje que. Mi afirmación es que si estableceen la primera formulación, entonces la solución de la primera formulación también será. Aquí está la prueba:

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

Como , la condición de holgura complementaria se cumple en el punto de solución . $t=b$ $\beta^*$

Entonces, dada una formulación de lazo con , construyes una formulación restringida usando una igual al valor de la norma de la solución de lazo. Por el contrario, dada una formulación restringida con , encontrará una tal que la solución al lazo será igual a la solución de la formulación restringida. $\lambda$ $t$ $l_1$ $t$ $\lambda$

(Si conoce subgraduados, puede encontrar este resolviendo la ecuación , donde $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— elexhobby
fuente

Excelente. Una vez que vea la solución, siempre se sentirá tonto por no llegar allí. Supongo que quiere decir, al encontrar la contradicción, supongamos que encontramos un tal que ?

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic 01 de

Considere la respuesta de flaggin como correcta

— bdeonovic 01 de

¿Puedes explicar por qué

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd el

Esto prueba que la solución a la primera formulación también debe tener una norma l1 de b. ¿Cómo prueba que las dos soluciones son realmente iguales?

— broncoAbierto

Adicionalmente, el lazo no siempre tiene una solución única, por lo que no podemos hacer referencia a la minimizador. arxiv.org/pdf/1206.0313.pdf . Sin embargo, podríamos referirnos al conjunto de minimizadores y mostrar que algunos deben pertenecer a ese conjunto.

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

Creo que la idea de Elexhobby para esta prueba es buena, pero no creo que sea completamente correcta.

Al demostrar que existe una solución para la primera formulación, , de modo queconduce a una contradicción, solo podemos asumir la necesidad de, no eso . $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

Sugiero, en cambio, que procedamos de la siguiente manera:

Por conveniencia, por y la primera y segunda formulación respectivamente. Supongamos que tiene una solución única, , con . Deje que tenga una solución, . Entonces, tenemos que(no puede ser mayor debido a la restricción) y, por lo tanto, . Si entonces no es la solución para , lo que contradice nuestras suposiciones. Si $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ entonces , ya que asumimos que la solución es única. $\hat{\beta} = \beta^*$

Sin embargo, puede darse el caso de que el lazo tenga múltiples soluciones. Según el lema 1 de arxiv.org/pdf/1206.0313.pdf , sabemos que todas estas soluciones tienen la misma -norm (y el mismo valor mínimo, por supuesto). Establecemos esa norma como la restricción para y procedemos. $\ell 1$ $P_1$

Vamos a denotar por el conjunto de soluciones a , con . Dejar que tiene una solución, . Entonces, tenemos que y por lo tanto . Si para algunos (y, por lo tanto, para todos ellos), entonces , lo que contradice nuestras suposiciones. Si para algunos entonces no es el conjunto de soluciones para $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ . Por lo tanto, cada solución a está en , es decir, cualquier solución a también es una solución a . Quedaría por demostrar que lo complementario se mantiene también. $P_1$ $S$ $P_1$ $P_2$

— broncoAbierto
fuente