Rango de lambda en regresión neta elástica

$\def\l{|\!|}$ Dada la regresión neta elástica

min_{b} \frac{1}{2} | | y - X b | |^{2} + α λ | | b | |_{2}^{2} + (1 - α) λ | | b | |_{1}

$\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1$

¿Cómo se puede elegir un rango apropiado de $\lambda$ para la validación cruzada?

En el caso $\alpha=1$ (regresión de cresta) la fórmula

dof = \sum_{j} \frac{s_{j}^{2}}{s_{j}^{2} + λ}

$\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda}$

se puede usar para dar grados de libertad equivalentes para cada lambda (donde $s_j$ son los valores singulares de $X$ ), y los grados de libertad se pueden elegir en un rango sensible.

En el caso $\alpha=0$ (lazo) sabemos que

λ > λ_{max} = max_{j} | \sum_{t} y_{t} X_{t j} |

$\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}|$

resultará en que todo $b_j$ sea cero, y $\lambda$ se puede elegir en algún rango $(0, \lambda_\textrm{max})$ .

¿Pero cómo manejar el caso mixto?

— Chris Taylor
fuente

Creo que deberías usar un rango de $0$ para

λ_{max}^{'} = \frac{1}{1 - α} λ_{max}

$\lambda_\text{max}^\prime = \frac{1}{1-\alpha}\lambda_\text{max}$

Mi razonamiento proviene de extender el caso del lazo, y una derivación completa está debajo. El calificador es que no captura la restricción aportada por la regularización . Si descubro cómo solucionarlo (y decidir si realmente necesita reparación), volveré y lo editaré. $\text{dof}$ $\ell_2$

Define el objetivo

f (b) = \frac{1}{2} ‖ y - X b ‖^{2} + \frac{1}{2} γ ‖ b ‖^{2} + δ ‖ b ‖_{1}

$f(b) = \frac{1}{2} \|y - Xb\|^2 + \frac{1}{2} \gamma \|b\|^2 + \delta \|b\|_1$

Este es el objetivo que describió, pero con algunos parámetros sustituidos para mejorar la claridad.

Convencionalmente, solo puede ser una solución al problema de optimización si el gradiente en es cero. Sin embargo, el término no es uniforme, por lo que la condición es que encuentre en el subgradiente en . $b=0$ $\min f(b)$ $b = 0$ $\|b\|_1$ $0$ $b = 0$

El subgradiente de es $f$

\partial f = - X^{T} (y - X b) + γ b + δ \partial ‖ b ‖_{1}

$\partial f = -X^T(y - Xb) + \gamma b + \delta \partial \|b\|_1$

donde denota el subgradiente con respecto a . En , esto se convierte en $\partial$ $b$ $b=0$

\partial f |_{b = 0} = - X^{T} y + δ [- 1, 1]^{d}

$\partial f|_{b=0} = -X^Ty + \delta[-1, 1]^d$

donde es la dimensión de , y a es un cubo -dimensional. Entonces, para que el problema de optimización tenga una solución de , debe ser que $d$ $b$ $[-1,1]^d$ $d$ $b = 0$

(X^{T} y)_{i} \in δ [- 1, 1]

$(X^Ty)_i \in \delta [-1, 1]$

para cada componente . Esto es equivalente a $i$

δ > max_{i} | \sum_{j} y_{j} X_{i j} |

$\delta > \max_i \left|\sum_j y_j X_{ij} \right|$

cuál es la definición que diste para . Si ahora se intercambia, la fórmula de la parte superior de la publicación se cae. $\lambda_\text{max}$ $\delta = (1-\alpha)\lambda$

— Andy Jones
fuente