Relación LASSO entre y


10

Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización:

minβyXβ22 s.t.β1t

En la práctica, esto se hace usando un multiplicador de Lagrange, lo que hace que el problema se resuelva

minβyXβ22+λβ1

¿Cuál es la relación entre λ y t ? Wikipedia, inútilmente, simplemente afirma que es "dependiente de los datos".

¿Porqué me importa? Primero por curiosidad intelectual. Pero también me preocupan las consecuencias de seleccionar λ por validación cruzada.

Específicamente, si estoy haciendo una validación cruzada n-fold, ajusto n modelos diferentes en n particiones diferentes de mis datos de entrenamiento. Luego comparo la precisión de cada uno de los modelos en los datos no utilizados para una λ . Pero el mismo λ implica una restricción diferente ( t ) para diferentes subconjuntos de datos (es decir, t=f(λ) es "dependiente de los datos").

¿No es el problema de validación cruzada que realmente quiero resolver para encontrar la t que ofrece la mejor compensación de precisión de sesgo?

Puedo tener una idea aproximada del tamaño de este efecto en la práctica calculando para cada división de validación cruzada y y mirando la distribución resultante. En algunos casos, la restricción implícita ( ) puede variar sustancialmente en silencio en mis subconjuntos de validación cruzada. Donde por sustancialmente quiero decir el coeficiente de variación en .β1λtt>>0


55
Votación para cancelar el voto a favor inexplicado. La pregunta está fuera de mi experiencia, pero parece razonablemente formulada.
mkt - Restablecer Monica

Respuestas:


2

Esta es la solución estándar para la regresión de crestas :

β=(XX+λI)1Xy

También sabemos que , entonces debe ser cierto queβ=t

(XX+λI)1Xy=t
.

que no es fácil de resolver para .λ

Su mejor opción es seguir haciendo lo que está haciendo: calcule en la misma submuestra de datos a través de múltiples valores .tλ

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.