Preguntas etiquetadas con lasso

Soy nuevo en el glmnetpaquete y todavía no estoy seguro de cómo interpretar los resultados. ¿Podría alguien ayudarme a leer el siguiente diagrama de seguimiento? El gráfico se estaba obteniendo ejecutando lo siguiente: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op …

15 r  data-visualization  interpretation  lasso  glmnet 

Me he estado preguntando, ¿por qué los métodos de selección de modelos LASSO y LARS son tan populares a pesar de que son básicamente variaciones de la selección progresiva (y por lo tanto sufren de dependencia de ruta)? Del mismo modo, ¿por qué los métodos de General a Específico (GETS) …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

He leído los libros más populares sobre aprendizaje estadístico. 1- Los elementos del aprendizaje estadístico. 2- Una introducción al aprendizaje estadístico . Ambos mencionan que la regresión de crestas tiene dos fórmulas que son equivalentes. ¿Existe una prueba matemática comprensible de este resultado? También pasé por Cross Validated , pero …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

¿Hay resultados analíticos o documentos experimentales con respecto a la elección óptima del coeficiente del término de penalización ℓ1ℓ1\ell_1 ? Por óptimo , me refiero a un parámetro que maximiza la probabilidad de seleccionar el mejor modelo, o que minimiza la pérdida esperada. Pregunto porque a menudo no es práctico …

15 model-selection  lasso  shrinkage 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 3 años . Estoy construyendo una regresión logística en R usando el método LASSO con las funciones cv.glmnetpara seleccionar …

15 r  logistic  categorical-data  lasso  glmnet 

Defina la estimación del lazo donde la i ^ {th} fila x_i \ in \ mathbb {R} ^ p de la matriz de diseño X \ in \ mathbb {R} ^ {n \ times p} es un vector de covariables para explicar la respuesta estocástica y_i (para i = 1, …

14 lasso  regularization 

Me gustaría crear un bosque aleatorio usando el siguiente proceso: Construya un árbol en muestras aleatorias de los datos y características usando la ganancia de información para determinar divisiones Termine un nodo de hoja si excede una profundidad predefinida O cualquier división daría como resultado un recuento de hojas menor …

14 classification  random-forest  lasso  ensemble 

Mi comprensión general es que AIC trata con el equilibrio entre la bondad de ajuste del modelo y la complejidad del modelo. Un yoC= 2 k - 2 l n ( L )UNyoC=2k-2lnorte(L)AIC =2k -2ln(L) kkk = número de parámetros en el modelo LLL = probabilidad El criterio de información …

14 cross-validation  lasso  aic  ridge-regression  bic 

¿Cuál es la complejidad asintótica del tiempo de la regresión Lasso a medida que crece el número de filas o columnas?

14 lasso  time-complexity 

Estoy leyendo sobre la mejor selección de subconjuntos en el libro Elementos de aprendizaje estadístico. Si tengo 3 predictores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , creo 23=823=82^3=8 subconjuntos: Subconjunto sin predictores subconjunto con predictor x1x1x_1 subconjunto con predictorx2x2x_2 subconjunto con predictor x3x3x_3 subconjunto con predictores x1,x2x1,x2x_1,x_2 subconjunto con predictores x1,x3x1,x3x_1,x_3 subconjunto con predictores x2,x3x2,x3x_2,x_3 …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

\newcommand{\diag}{\operatorname{diag}}Tenemos el problema: suponiendo que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). ¿Existe una solución de forma cerrada en este caso? Tengo eso: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), y creo que la respuesta es …

13 mathematical-statistics  lasso  computational-statistics  regularization 

Una de las motivaciones para la red elástica fue la siguiente limitación de LASSO: En el caso , el lazo selecciona como máximo n variables antes de saturarse, debido a la naturaleza del problema de optimización convexa. Esto parece ser una característica limitante para un método de selección variable. Además, …

13 regression  optimization  feature-selection  lasso 

Hay varios documentos matemáticos que describen el lazo bayesiano, pero quiero probar el código JAGS correcto que puedo usar. ¿Alguien podría publicar código BUGS / JAGS de muestra que implemente la regresión logística regularizada? Cualquier esquema (L1, L2, Elasticnet) sería genial, pero se prefiere Lasso. También me pregunto si hay …

13 bayesian  logistic  lasso  jags  regularization 

La Tabla 18.1 en los Elementos del aprendizaje estadístico resume el rendimiento de varios clasificadores en un conjunto de datos de 14 clases. Estoy comparando un nuevo algoritmo con el lazo y la red elástica para tales problemas de clasificación multiclase. glmnetL1L1L_1 Tenga en cuenta que al comienzo de la …

13 classification  lasso  glmnet 

Me gustaría obtener los coeficientes para el problema LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. El problema es que las funciones glmnet y lars dan respuestas diferentes. Para la función glmnet pido los coeficientes de en lugar de solo λ , pero aún obtengo respuestas diferentes.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda ¿Se espera esto? ¿Cuál es la relación entre …

13 r  machine-learning  regression  lasso  regularization