Relación LASSO entre y

Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización:

min_{β} ‖ y - X β ‖_{2}^{2} s . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

En la práctica, esto se hace usando un multiplicador de Lagrange, lo que hace que el problema se resuelva

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

¿Cuál es la relación entre $\lambda$ y $t$ ? Wikipedia, inútilmente, simplemente afirma que es "dependiente de los datos".

¿Porqué me importa? Primero por curiosidad intelectual. Pero también me preocupan las consecuencias de seleccionar $\lambda$ por validación cruzada.

Específicamente, si estoy haciendo una validación cruzada n-fold, ajusto n modelos diferentes en n particiones diferentes de mis datos de entrenamiento. Luego comparo la precisión de cada uno de los modelos en los datos no utilizados para una $\lambda$ . Pero el mismo $\lambda$ implica una restricción diferente ( $t$ ) para diferentes subconjuntos de datos (es decir, $t=f(\lambda)$ es "dependiente de los datos").

¿No es el problema de validación cruzada que realmente quiero resolver para encontrar la $t$ que ofrece la mejor compensación de precisión de sesgo?

Puedo tener una idea aproximada del tamaño de este efecto en la práctica calculando para cada división de validación cruzada y y mirando la distribución resultante. En algunos casos, la restricción implícita ( ) puede variar sustancialmente en silencio en mis subconjuntos de validación cruzada. Donde por sustancialmente quiero decir el coeficiente de variación en . $\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— ConstantAmateur
fuente

Votación para cancelar el voto a favor inexplicado. La pregunta está fuera de mi experiencia, pero parece razonablemente formulada.

— mkt - Restablecer Monica

Esta es la solución estándar para la regresión de crestas :

β = {(X^{'} X + λ I)}^{- 1} X^{'} y

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

También sabemos que , entonces debe ser cierto que $\| \beta \| = t$

‖ {(X^{'} X + λ I)}^{- 1} X^{'} y ‖ = t

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$ .

que no es fácil de resolver para . $\lambda$

Su mejor opción es seguir haciendo lo que está haciendo: calcule en la misma submuestra de datos a través de múltiples valores . $t$ $\lambda$

— Shadowtalker
fuente