Parámetro de regularización LASSO del algoritmo LARS

En su artículo seminal 'Regresión de ángulo mínimo' , Efron et al describen una modificación simple del algoritmo LARS que permite calcular las rutas completas de regularización de LASSO.

He implementado esta variante con éxito y, por lo general, trazo la ruta de salida en comparación con el número de pasos (iteraciones sucesivas del algoritmo LARS) o el $l_1$ -norma de los coeficientes de regresión ( ). $\Vert \beta \Vert_1$

Sin embargo, parece que la mayoría de los paquetes disponibles proporcionan la ruta de regularización en términos del coeficiente de penalización LASSO $\lambda$ (por ejemplo, LARS en R, donde puede jugar con el argumento 'modo' para cambiar entre diferentes representaciones).

Mi pregunta es: ¿cuál es la mecánica utilizada para cambiar de una representación a otra (s)? He visto varias preguntas relacionadas con eso (o más específicamente el tema de mapear la restricción de desigualdad $\Vert \beta \Vert_1 \leq t$ a un término de penalización apropiado $\lambda \Vert \beta \Vert_1$ ), pero no he encontrado una respuesta satisfactoria.

[Editar]

He mirado dentro de un código MATLAB que realiza la transformación requerida y, para cada paso LARS , así es como se calcula : $k$ $\lambda$

λ (k) = max (2 El | X^{T} y El |), para k = 1

$\lambda(k) = \max( 2 \vert X^T y \vert ),\ \ \ \text{for } k=1$

λ (k) = mediana (2 El | X_{{UNA}_{k}}^{T} r_{{UNA}_{k}} El |), \forall k > 1

$\lambda(k) = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

donde $X$ (tamaño $n \times p$ ) $y$ (tamaño $n \times 1$ ) denotan las entradas / respuestas estandarizadas, $\mathcal{A}_k$ representa el conjunto de predictores activos en el paso $k$ y $r$ representa el residuo de regresión actual en el paso $k$ .

No puedo entender la lógica detrás de ese cálculo. ¿Alguien podría ayudar?

— Cuádruple
fuente

He descubierto cómo realizar la conversión requerida.

Suponga que las entradas están estandarizadas (media cero, varianza unitaria) y las respuestas están centradas. $X$ $y$

Sabemos que el algoritmo LARS modificado proporciona la ruta completa de regularización de LASSO, cf. documento original de Efron et al .

Esto significa que, en cada iteración , el algoritmo anterior encuentra una pareja óptima minimizando la función de pérdida regularizada: $k$ $(\beta^*, \lambda^*)$

\begin{aligned} (β^{*}, λ^{*}) & = {argmin}_{(β, λ)} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \sum_{yo = 1}^{norte} {(y_{yo} - \sum_{j = 1}^{pags} β_{j} X_{yo j})}^{2} + λ \sum_{j = 1}^{pags} El | β_{j} El | \end{aligned}

$\begin{align} (\beta^*, \lambda^*) &= \text{argmin}_{(\beta,\lambda)} L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \\ &= \sum_{i=1}^N \left(y_i - \sum_{j=1}^p \beta_j X_{ij}\right)^2 + \lambda \sum_{j=1}^p \vert \beta_j \vert \end{align}$

Para todos los componentes activos en el conjunto activo al final del paso , la aplicación de la condición de estacionariedad KKT da $a=\{1,...,q\}$ $\mathcal{A}_k$ $k$

\begin{aligned} 0 0 & = \frac{\partial L}{\partial β_{una}} (β^{*}, λ^{*}) \\ = - 2 \sum_{yo = 1}^{norte} X_{yo una} (y_{yo} - \sum_{j = 1}^{q} β_{j}^{*} X_{yo j}) + λ^{*} firmar (β_{una}^{*}) \end{aligned}

$\begin{align} 0 &= \frac{\partial L}{\partial \beta_a}(\beta^*,\lambda^*) \\ &= -2 \sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right) + \lambda^*\ \text{sign}(\beta_a^*) \end{align}$

En otras palabras, o en anotaciones matriciales (notando que dividir / multiplicar por es el mismo) la siguiente ecuación se cumple para cualquier componente activo :

λ^{*} = 2 \frac{\sum_{yo = 1}^{norte} X_{yo una} (y_{yo} - \sum_{j = 1}^{q} β_{j}^{*} X_{yo j})}{firmar (β_{una}^{*})}

$\lambda^* = 2 \frac{\sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right)}{\text{sign}(\beta_a^*)}$

sign (x)

$\text {sign}(x)$ $a$

λ^{*} = 2 firmar (β_{una}^{*}) X_{una}^{T} r

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T r$

En el artículo original, los autores mencionan que para cualquier solución al problema LASSO, el signo de un peso de regresión activo ( ) debe ser idéntico al signo de la correlación del predictor activo correspondiente con el residuo de regresión actual ( ), que es solo lógica ya que debe ser positivo. Así también podemos escribir: $\beta_a^*$ $X_a^T r$ $\lambda^*$

λ^{*} = 2 El | X_{una}^{T} r El |

$\lambda^* = 2 \vert X_a^T r \vert$

Además, vemos que en el paso final (ajuste OLS, ), obtenemos debido al lema de ortogonalidad. El uso de la mediana en la implementación de MATLAB que encontré en mi humilde opinión parece un esfuerzo por 'promediar' los errores numéricos sobre todos los componentes activos: $k$ $\beta^* = (X^TX)^{-1}X^T y$ $\lambda^* = 0$

$λ^{*} = mediana (2 El | X_{{UNA}_{k}}^{T} r_{{UNA}_{k}} El |), \forall k > 1$ $\lambda^* = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

Para calcular el valor de cuando no hay componentes activos (paso ), se puede usar el mismo truco que el anterior pero en el límite infinitesimal donde todos los pesos de regresión son cero y solo el signo del primer componente convertirá activo (en el paso ) importa. Esto produce: $\lambda$ $k=1$ $b$ $k=2$

λ^{*} = 2 firmar (β_{si}^{*}) X_{si}^{T} y

$\lambda^* = 2 \ \text{sign}(\beta_b^*) X_b^T y$ que es estrictamente equivalente a

$λ^{*} = max (2 El | X^{T} y El |), para k = 1$ $\lambda^* = \max(2 \vert X^T y \vert), \text { for } k=1$

porque (i) la misma observación que antes sobre el signo de los pesos de regresión; (ii) el algoritmo LARS determina el siguiente componente para ingresar al conjunto activo como el que está más correlacionado con el residual actual , que en el paso es simplemente . $b$ $k=1$ $y$

— Cuádruple
fuente

Esto es algo que se menciona en cada trabajo de LASSO, pero a nadie le importa explicarlo (no sé si es muy básico o qué, pero me llevó mucho tiempo resolverlo). Solo quiero enfatizar que, aunque es "equivalente", solo puede pasar de una formulación a otra (restringida a sin restricciones y viceversa) una vez que haya resuelto el problema de optimización y tenga los pesos óptimos.

— skd

¡Siento lo mismo! En lo que respecta a su comentario, sí, de hecho. Aquí, esto se refleja en el residual , que solo se puede calcular una vez que se hayan obtenido los pesos de regresión óptimos al final del paso .

r_{A_{k}}

$r_{\mathcal{A}_k}$

β_{k}

$\beta_k$

k

$k$

— Quantuple