Preguntas etiquetadas con lasso

Para mi investigación actual, estoy usando el método Lasso a través del paquete glmnet en R en una variable dependiente binomial. En glmnet, el lambda óptimo se encuentra a través de la validación cruzada y los modelos resultantes se pueden comparar con varias medidas, por ejemplo, error de clasificación errónea …

12 cross-validation  lasso  glmnet  deviance  lars 

Según las referencias Libro 1 , Libro 2 y papel . Se ha mencionado que existe una equivalencia entre la regresión regularizada (Ridge, LASSO y Elastic Net) y sus fórmulas de restricción. También he visto Cross Validated 1 y Cross Validated 2 , pero no puedo ver una respuesta clara …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Estoy ejecutando un modelo de regresión con Lasso y Ridge (para predecir una variable de resultado discreta que va de 0 a 5). Antes de ejecutar el modelo, utilizo el SelectKBestmétodo de scikit-learnreducir el conjunto de características de 250 a 25 . Sin una selección inicial de características, tanto Lasso …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Estoy tratando de hacer una selección de modelo en algunos predictores candidatos que usan LASSO con un resultado continuo. El objetivo es seleccionar el modelo óptimo con el mejor rendimiento de predicción, que generalmente se puede hacer mediante validación cruzada K-fold después de obtener una ruta de solución de los …

11 cross-validation  survey  lasso  glmnet 

Ya tengo una idea sobre los pros y los contras de la regresión de crestas y el LASSO. Para el LASSO, el término de penalización L1 producirá un vector de coeficiente disperso, que puede verse como un método de selección de características. Sin embargo, existen algunas limitaciones para el LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Mientras tanto, estoy estudiando LASSO (operador de selección y contracción menos absoluta). Veo que el valor óptimo para el parámetro de regularización se puede elegir mediante validación cruzada. También veo en la regresión de crestas y en muchos métodos que aplican la regularización, podemos usar CV para encontrar el parámetro …

11 lasso  regularization  shrinkage 

Estoy tratando de realizar una regresión de lazo, que tiene la siguiente forma: Minimice in ( Y - X w ) ′ ( Y - X w ) + λwww( Y- Xw )′( Y- Xw ) + λEl | w |1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Dado un …

11 regression  lasso  quadratic-form 

Me gustaría corregir manualmente un cierto coeficiente, digamos , luego ajustar los coeficientes a todos los demás predictores, mientras en el modelo.β 1 = 1.0β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 ¿Cómo puedo lograr esto usando R? En particular, me gustaría trabajar con LASSO ( glmnet) si es posible. Alternativamente, ¿cómo puedo restringir este coeficiente a …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Después de leer el Capítulo 3 en los Elementos del aprendizaje estadístico (Hastie, Tibshrani y Friedman), me preguntaba si era posible implementar los famosos métodos de contracción citados en el título de esta pregunta dada una estructura de covarianza, es decir, minimizar el (quizás más general ) cantidad ( y⃗ …

11 lasso  ridge-regression 

Cuando determino mi lambda mediante validación cruzada, todos los coeficientes se vuelven cero. Pero tengo algunos indicios de la literatura de que algunos de los predictores definitivamente deberían afectar el resultado. ¿Es una basura elegir arbitrariamente lambda para que haya tanta escasez como uno desee? Quiero seleccionar los 10 predictores …

11 lasso 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado el año pasado . ¿Qué implementaciones de código abierto, en cualquier idioma, existen que puedan calcular las rutas de regularización …

11 regression  lasso  regularization 

Si β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , puede ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumentar cuando λλ\lambda aumenta? Creo que esto es posible. Aunque ∥β∗∥1‖β∗‖1\|\beta^*\|_1 no aumenta cuando λλ\lambda aumenta (mi prueba ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 puede aumentar. La siguiente figura muestra una posibilidad. Cuando λλ\lambda aumenta, si β∗β∗\beta^* viaja (linealmente) de PPP a QQQ , entonces ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumenta mientras …

11 lasso 

Estoy tratando de resumir lo que entendí hasta ahora en el análisis multivariado penalizado con conjuntos de datos de alta dimensión, y todavía me cuesta obtener una definición adecuada de la penalización de umbral suave frente a la penalización Lasso (o ).L1L1L_1 Más precisamente, utilicé una regresión PLS dispersa para …

11 multivariate-analysis  lasso  feature-selection  genetics 

Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En la práctica, esto se hace usando un multiplicador de Lagrange, lo que hace que el problema se …

10 optimization  lasso  regularization  lagrange-multipliers 

En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net