Preguntas etiquetadas con ridge-regression

He oído que la regresión de cresta se puede derivar como la media de una distribución posterior, si la anterior se elige adecuadamente. ¿Es la intuición de que las restricciones establecidas en los coeficientes de regresión por el anterior (por ejemplo, distribuciones normales estándar alrededor de 0) son idénticas / …

15 bayesian  prior  ridge-regression 

En "Los elementos del aprendizaje estadístico" (2ª ed.), P63, los autores dan las siguientes dos formulaciones del problema de regresión de crestas: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} and β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβ2j≤t.β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβj2≤t. \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 \text{, …

15 ridge-regression 

He leído los libros más populares sobre aprendizaje estadístico. 1- Los elementos del aprendizaje estadístico. 2- Una introducción al aprendizaje estadístico . Ambos mencionan que la regresión de crestas tiene dos fórmulas que son equivalentes. ¿Existe una prueba matemática comprensible de este resultado? También pasé por Cross Validated , pero …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Al ejecutar la regresión de cresta, ¿cómo interpreta los coeficientes que terminan siendo más grandes que sus coeficientes correspondientes bajo mínimos cuadrados (para ciertos valores de )? ¿No se supone que la regresión de cresta reduce los coeficientes monotónicamente?λλ\lambda En una nota relacionada, ¿cómo se interpreta un coeficiente cuyo signo …

14 interpretation  regression-coefficients  ridge-regression 

En la regresión de cresta, la función objetivo a minimizar es:RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. ¿Se puede optimizar esto utilizando el método multiplicador de Lagrange? ¿O es una diferenciación directa?

14 regression  regularization  ridge-regression 

Mi comprensión general es que AIC trata con el equilibrio entre la bondad de ajuste del modelo y la complejidad del modelo. Un yoC= 2 k - 2 l n ( L )UNyoC=2k-2lnorte(L)AIC =2k -2ln(L) kkk = número de parámetros en el modelo LLL = probabilidad El criterio de información …

14 cross-validation  lasso  aic  ridge-regression  bic 

Quiero calcular el AICc de un modelo de regresión de cresta. El problema es el número de parámetros. Para la regresión lineal, la mayoría de las personas sugiere que el número de parámetros es igual al número de coeficientes estimados más sigma (la varianza del error). Cuando se trata de …

13 regression  aic  ridge-regression  degrees-of-freedom 

Estoy aprendiendo sobre la regresión de crestas y sé que la regresión de crestas tiende a funcionar mejor en presencia de multicolinealidad. Me pregunto por qué esto es cierto. Una respuesta intuitiva o matemática sería satisfactoria (ambos tipos de respuestas serían aún más satisfactorias). Además, sé que ese β siempre …

13 multicollinearity  ridge-regression 

Estoy usando el paquete 'lars' en R con el siguiente código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

He leído que la regresión de crestas podría lograrse simplemente agregando filas de datos a la matriz de datos original, donde cada fila se construye usando 0 para las variables dependientes y la raíz cuadrada de o cero para las variables independientes. Luego se agrega una fila adicional para cada …

12 logistic  generalized-linear-model  ridge-regression 

Estoy buscando literatura sobre regresión de cresta negativa . En resumen, es una generalización de la regresión lineal de crestas usando negativa en la fórmula del estimador:El caso positivo tiene una buena teoría: como una función de pérdida, como una restricción, como un Bayes anterior ... pero me siento perdido …

12 regression  regularization  ridge-regression 

Esta publicación sigue a esta: ¿Por qué la estimación de cresta se vuelve mejor que OLS al agregar una constante a la diagonal? Aquí está mi pregunta: Hasta donde yo sé, la regularización de crestas utiliza una -norm (distancia euclidiana). Pero, ¿por qué usamos el cuadrado de esta norma? (una …

12 lasso  regularization  ridge-regression 

Según las referencias Libro 1 , Libro 2 y papel . Se ha mencionado que existe una equivalencia entre la regresión regularizada (Ridge, LASSO y Elastic Net) y sus fórmulas de restricción. También he visto Cross Validated 1 y Cross Validated 2 , pero no puedo ver una respuesta clara …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Estoy ejecutando un modelo de regresión con Lasso y Ridge (para predecir una variable de resultado discreta que va de 0 a 5). Antes de ejecutar el modelo, utilizo el SelectKBestmétodo de scikit-learnreducir el conjunto de características de 250 a 25 . Sin una selección inicial de características, tanto Lasso …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Supongamos que tengo dos estimadores y que son estimadores consistentes del mismo parámetro y tal que con en el sentido psd. Por lo tanto, asintóticamente es más eficiente que . Estos dos estimadores se basan en diferentes funciones de pérdida.βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 …

11 regression  ridge-regression  shrinkage  penalized