Preguntas etiquetadas con lasso

¿Cuáles son los pros y los contras de usar LARS [1] versus usar el descenso coordinado para ajustar la regresión lineal regularizada por L1? Estoy principalmente interesado en los aspectos de rendimiento (mis problemas tienden a tener Ncientos de miles y p<20). Sin embargo, cualquier otra información también sería apreciada. …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

He leído que el lazo de grupo se usa para la selección de variables y la dispersión en un grupo de variables. Quiero saber la intuición detrás de esta afirmación. ¿Por qué se prefiere el lazo grupal al lazo? ¿Por qué la ruta de solución de lazo grupal no es …

13 regression  feature-selection  lasso  regularization 

Estoy buscando un código abierto o una biblioteca existente que pueda usar. Por lo que digo, el paquete glmnet no es fácilmente extensible para cubrir el caso no negativo. Puedo estar equivocado, cualquiera con alguna idea muy apreciada. Por no negativo quiero decir que todos los coeficientes están limitados a …

13 r  lasso 

Estoy usando el paquete 'lars' en R con el siguiente código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Zou y col. "Sobre los" grados de libertad "del lazo" (2007) muestran que el número de coeficientes distintos de cero es una estimación imparcial y consistente de los grados de libertad del lazo. Me parece un poco contradictorio. Supongamos que tenemos un modelo de regresión (donde las variables son media …

12 regression  lasso  degrees-of-freedom  shrinkage 

Estoy tratando de entender cómo se puede modificar el algoritmo de Lars para generar Lasso. Si bien entiendo LARS, no puedo ver la modificación de Lasso del documento de Tibshirani et al. En particular, no veo por qué la condición del signo es que el signo de la coordenada distinta …

12 lasso 

¿Hay buenos documentos o libros que traten sobre el uso del descenso coordinado para L1 (lazo) y / o la regularización neta elástica para problemas de regresión lineal?

12 regression  references  lasso  regularization  elastic-net 

Estoy ajustando una regresión lineal regularizada L1 a un conjunto de datos muy grande (con n >> p.) Las variables se conocen de antemano, pero las observaciones llegan en pequeños fragmentos. Me gustaría mantener el ajuste del lazo después de cada trozo. Obviamente, puedo volver a ajustar todo el modelo …

12 regression  lasso 

He programado una regresión logística usando el algoritmo IRLS . Me gustaría aplicar una penalización LASSO para seleccionar automáticamente las funciones correctas. En cada iteración, se resuelve lo siguiente: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sea λλ\lambda un número real no negativo. No estoy penalizando la intercepción como se sugiere en The Elements of. …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

En la detección comprimida, existe una garantía de teorema de que tiene una solución dispersa única c (consulte el apéndice para obtener más detalles).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc ¿Existe un teorema similar para el lazo? Si existe tal teorema, no …

12 regression  self-study  feature-selection  lasso  regularization 

He leído en varios lugares que R Squared no es una medida ideal cuando un modelo se ajusta usando LASSO. Sin embargo, no tengo claro exactamente por qué es eso. Además, ¿podría recomendar la mejor alternativa?

12 regression  lasso  r-squared  penalized 

Actualmente estoy trabajando en la construcción de un modelo predictivo para un resultado binario en un conjunto de datos con ~ 300 variables y 800 observaciones. He leído mucho en este sitio sobre los problemas asociados con la regresión gradual y por qué no usarlo. He estado leyendo sobre la …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

Esta publicación sigue a esta: ¿Por qué la estimación de cresta se vuelve mejor que OLS al agregar una constante a la diagonal? Aquí está mi pregunta: Hasta donde yo sé, la regularización de crestas utiliza una -norm (distancia euclidiana). Pero, ¿por qué usamos el cuadrado de esta norma? (una …

12 lasso  regularization  ridge-regression 

LASSO y LASSO adaptativo son dos cosas diferentes, ¿verdad? (Para mí, las penalizaciones se ven diferentes, pero solo estoy verificando si me pierdo algo). Cuando generalmente habla de red elástica, ¿es el caso especial LASSO o LASSO adaptativo? ¿Cuál hace el paquete glmnet, siempre que elija alpha = 1? LASSO …

12 lasso  glmnet  elastic-net  oracle 

Estoy usando "glmnet" para la regresión de lazo en GWAS. Algunas variantes e individuos tienen valores perdidos y parece que glmnet no puede manejar los valores perdidos. ¿Hay alguna solución para esto? ¿O hay otro paquete que pueda manejar los valores faltantes en la regresión de lazo? Aquí están mis …

12 missing-data  lasso  glmnet