Preguntas etiquetadas con lasso

Tengo un conjunto de datos con 338 predictores y 570 instancias (desafortunadamente no se puede cargar) en el que estoy usando el Lazo para realizar la selección de funciones. En particular, estoy usando la cv.glmnetfunción de la glmnetsiguiente manera, donde mydata_matrixhay una matriz binaria de 570 x 339 y la …

8 r  classification  lasso  glmnet 

El lazo y la red elástica no pueden manejar variables con más de dos categorías y, por lo tanto, es necesaria una división de variables categóricas en dummies para la aplicación de estos métodos. Esto puede dar lugar a varios problemas y, por lo tanto, existen extensiones para el lazo …

8 machine-learning  categorical-data  feature-selection  lasso  elastic-net 

¿Alguien puede proporcionar una visión intuitiva de por qué es mejor tener una versión beta más pequeña? Para LASSO puedo entender que hay un componente de selección de características aquí. Menos características hacen que el modelo sea más simple y, por lo tanto, menos probable que se ajuste demasiado. Sin …

8 regression  lasso  ridge-regression  shrinkage 

Realicé el lazo y luego dejé una validación cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Cuando trazo cv me sale lo siguiente: También noté que obtengo 2 lambdas diferentes: lambda.minylambda.1se ¿Cuál es la diferencia entre estas lambdas? ¿Qué puedo entender de la gráfica anterior en general (de qué se tratan estos …

8 r  cross-validation  interpretation  lasso 

Entiendo que la detección comprimida encuentra la solución más escasa para donde , , y , .y=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k&lt;&lt;Dk&lt;&lt;Dk << D De esta manera podemos reconstruir (el original) usando (la compresión), razonablemente rápido. Decimos que es la solución más escasa. La escasez …

8 lasso  sparse 

Estoy retrocediendo un predictor continuo en más de 60 variables (tanto continuas como categóricas) usando LASSO (glmnet). Al examinar el gráfico de traza variable, noto que a medida que aumenta el registro lambda, una de las variables clave tiene un coeficiente que en realidad aumenta. Luego, después de cierto punto, …

8 lasso  regularization  glmnet 

El aprendizaje estadístico y sus resultados están actualmente presentes en las ciencias sociales. Hace un par de meses, Guido Imbens dijo: "LASSO es el nuevo OLS". Estudié Machine Learning un poco y sé que su objetivo principal es la predicción. También estoy de acuerdo con la distinción de Leo Breiman …

8 machine-learning  lasso  causality 

Me pregunto sobre la finura de rejilla óptima y cuál es la relación entre la finura de rejilla y el sobreajuste en métodos de regularización como LASSO, regresión de cresta o red elástica. Supongamos que quiero ajustar un modelo de regresión usando LASSO a una muestra de 500 observaciones (no …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Estoy ejecutando algunas optimizaciones con la implementación de BFGS de optim. La función objetivo es en realidad un algoritmo computacional, no solo matemático. Descubrí que cuando agrego una penalización L1, las cosas se ralentizan bastante. ¿Por qué podría ser esto? ¿Hay algo en L1 que ralentiza las cosas? Entonces, ¿cómo …

8 r  optimization  lasso 

Estoy tratando de determinar qué alfa usar en mi glmnetfunción, pero el archivo de ayuda me dice: Tenga en cuenta que cv.glmnet NO busca valores para alfa. Se debe proporcionar un valor específico; de lo contrario, se supone alfa = 1 de forma predeterminada. Si los usuarios desean validar también …

8 r  lasso  ridge-regression  glmnet 

Si seleccionamos diferentes valores del parámetro , podríamos obtener soluciones con diferentes niveles de dispersión. ¿Significa que la ruta de regularización es cómo seleccionar la coordenada que podría obtener una convergencia más rápida? Estoy un poco confundido, aunque he oído hablar de la escasez a menudo. Además, ¿podría dar una …

8 lasso  regularization 

He estado implementando la versión GLMNET de red elástica para regresión lineal con otro software que no sea R. Comparé mis resultados con la función R glmnet en modo lazo con datos de diabetes . La selección de variables está bien cuando se varía el valor del parámetro (lambda) pero …

8 r  lasso  regularization  glmnet  elastic-net