Preguntas etiquetadas con lasso

La regresión de LASSO reduce los coeficientes hacia cero, proporcionando así una selección de modelo efectiva. Creo que en mis datos hay interacciones significativas entre covariables nominales y continuas. No necesariamente, sin embargo, son los 'efectos principales' del verdadero modelo significativo (distinto de cero). Por supuesto, no sé esto ya …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Hay diferentes programas de implementación disponibles para el lazo . Sé mucho sobre el enfoque bayesiano frente al enfoque frecuentista en diferentes foros. Mi pregunta es muy específica para el lazo: ¿Cuáles son las diferencias o ventajas del lazo baysiano en comparación con el lazo normal ? Aquí hay dos …

24 r  machine-learning  linear-model  lasso 

Entonces me hicieron una pregunta sobre qué medidas centrales L1 (es decir, lazo) y L2 (es decir, regresión de cresta) estimaron. La respuesta es L1 = mediana y L2 = media. ¿Hay algún tipo de razonamiento intuitivo para esto? ¿O tiene que determinarse algebraicamente? Si es así, ¿cómo hago para …

24 lasso  regularization  loss-functions  ridge-regression 

Algunas funciones de penalización y aproximaciones están bien estudiadas, como LASSO ( ) y Ridge ( ) y cómo se comparan en regresión.L 2L1L1L_1L2L2L_2 He estado leyendo sobre la penalización de Bridge, que es la penalización generalizada . Compare eso con el LASSO, que tiene \ gamma = 1 , …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Quiero comprender mejor los paquetes R Larsy Glmnet, que se utilizan para resolver el problema de Lasso: (para Variables y muestras, ver www.stanford.edu/~hastie/Papers/glmnet.pdf en la página 3)m i n( β0 0β) ∈ Rp + 1[ 12 N∑i = 1norte( yyo- β0 0- xTyoβ)2+ λ | El | βEl | El …

22 r  regression  machine-learning  lasso  regularization 

Estoy ejecutando un pequeño experimento con la regresión LASSO en R para probar si es capaz de encontrar un par de predictores perfecto. El par se define así: f1 + f2 = resultado El resultado aquí es un vector predeterminado llamado 'edad'. F1 y f2 se crean tomando la mitad …

20 r  regression  feature-selection  lasso  high-dimensional 

Todos estamos familiarizados con la idea, bien documentada en la literatura, de que la optimización de LASSO (en aras de la simplicidad limita aquí la atención al caso de la regresión lineal) es equivalente al modelo lineal con errores gaussianos en el que los parámetros reciben la Laplace anterior \ …

20 lasso  laplace-distribution 

Tengo una pregunta con respecto a la necesidad de utilizar métodos de selección de características (los bosques aleatorios tienen un valor de importancia de características o métodos de selección de características univariadas, etc.) antes de ejecutar un algoritmo de aprendizaje estadístico. Sabemos que para evitar el sobreajuste podemos introducir una …

20 regression  machine-learning  feature-selection  lasso  regularization 

La regresión penalizada L1 (también conocida como lazo) se presenta en dos formulaciones. Deje que las dos funciones objetivas sean Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Entonces las dos formulaciones diferentes son argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 sujeto a ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, …

20 regression  lasso  penalized 

Estoy usando el paquete R penalizado para obtener estimaciones reducidas de coeficientes para un conjunto de datos donde tengo muchos predictores y poco conocimiento de cuáles son importantes. Después de haber elegido los parámetros de ajuste L1 y L2 y estoy satisfecho con mis coeficientes, ¿hay una forma estadísticamente sólida …

20 regression  lasso  stepwise-regression  ridge-regression 

Recientemente, descubrí que en la literatura de econometría aplicada, cuando se trata de problemas de selección de características, no es raro realizar LASSO seguido de una regresión de OLS utilizando las variables seleccionadas. Me preguntaba cómo podemos calificar la validez de tal procedimiento. ¿Causará problemas como variables omitidas? ¿Alguna prueba …

20 regression  feature-selection  econometrics  least-squares  lasso 

A continuación se muestra la gráfica de glmnet con alfa predeterminado (1, por lo tanto, lazo) utilizando mtcarsdatos establecidos en R con mpgDV y otros como variables predictoras. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) ¿Qué podemos concluir de este gráfico con respecto a las diferentes variables, especialmente am, cyly wt(líneas roja, negra y azul …

19 regression  feature-selection  lasso  glmnet 

Estoy realmente interesado en el procedimiento de red elástica para la contracción / selección de predictores. Parece muy poderoso Pero desde el punto de vista científico, no sé qué hacer una vez que obtuve los coeficientes. ¿Qué pregunta estoy respondiendo? ¿Estas son las variables que más influyen en ese resultado …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Los métodos de selección de variables algorítmicas escalonadas tienden a seleccionar modelos que sesgan más o menos todas las estimaciones en los modelos de regresión ( ββ\beta y sus SE, valores p , estadísticas F , etc.), y tienen la misma probabilidad de excluir predictores verdaderos como incluir predictores falsos …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

La pregunta ¿Qué concluir de este diagrama de lazo (glmnet) demuestra caminos de solución para el estimador de lazo que no son monótonos? Es decir, algunos de los cofficientes crecen en valor absoluto antes de reducirse. He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y nunca …

18 lasso  ridge-regression  elastic-net