Preguntas etiquetadas con ridge-regression

Digamos que quiero estimar una gran cantidad de parámetros, y quiero penalizar algunos de ellos porque creo que deberían tener poco efecto en comparación con los demás. ¿Cómo decido qué esquema de penalización utilizar? ¿Cuándo es más apropiada la regresión de cresta? ¿Cuándo debo usar el lazo?

167 regression  lasso  ridge-regression 

Estoy leyendo los libros sobre regresión lineal. Hay algunas oraciones sobre la norma L1 y L2. Los conozco, simplemente no entiendo por qué la norma L1 para modelos dispersos. ¿Puede alguien usar dar una explicación simple?

97 regression  lasso  regularization  ridge-regression 

¿En qué circunstancias se debe considerar el uso de métodos de regularización (cresta, lazo o regresión de ángulos mínimos) en lugar de OLS? En caso de que esto ayude a dirigir la discusión, mi interés principal es mejorar la precisión predictiva.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Estimación del coeficiente de regresión de cresta son los valores que minimizan laβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Mis preguntas son: Si , vemos que la expresión anterior se reduce al RSS habitual. ¿Qué pasa si ? No entiendo la explicación del libro de texto del comportamiento de los coeficientes.λ=0λ=0\lambda …

71 ridge-regression  statistical-learning  history 

Considere los siguientes tres fenómenos. Paradoja de Stein: dados algunos datos de la distribución normal multivariada en , la media muestral no es un muy buen estimador de la media real. Se puede obtener una estimación con un error cuadrático medio menor si se reducen todas las coordenadas de la …

65 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

La temporada navideña me ha dado la oportunidad de acurrucarme junto al fuego con The Elements of Statistical Learning . Viniendo desde una perspectiva econométrica (frecuentista), tengo problemas para comprender los usos de los métodos de contracción, como la regresión de crestas, el lazo y la regresión de ángulo mínimo …

61 lasso  ridge-regression  shrinkage  lars 

Entiendo que la estimación de regresión de cresta es la que minimiza la suma residual del cuadrado y una penalización en el tamaño deβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Sin embargo, no entiendo completamente la importancia del hecho de que βridgeβridge\beta_\text{ridge} difiere de …

59 regression  least-squares  ridge-regression  shrinkage 

Para resolver problemas de selección de modelo, varios métodos (LASSO, regresión de cresta, etc.) reducirán los coeficientes de las variables predictoras hacia cero. Estoy buscando una explicación intuitiva de por qué esto mejora la capacidad predictiva. Si el verdadero efecto de la variable fue realmente muy grande, ¿por qué no …

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Considere un buen viejo problema de regresión con predictores ppp y tamaño de muestra nnorten . La sabiduría usual es que OLS estimador será overfit y generalmente será superado por la arista estimador de β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = (X^\top X + \lambda I)^{-1}X^\top y.Es estándar utilizar la validación cruzada para encontrar un …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Tengo algunos problemas con la derivación de la solución para la regresión de crestas. Sé la solución de regresión sin el término de regularización: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Pero después de agregar el término L2 a la función de costo, ¿cómo es que la solución se convierte enλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX …

41 regression  least-squares  regularization  ridge-regression 

En la página 223 en Introducción al aprendizaje estadístico , los autores resumen las diferencias entre la regresión de cresta y el lazo. Proporcionan un ejemplo (Figura 6.9) de cuándo "el lazo tiende a superar la regresión de cresta en términos de sesgo, varianza y MSE". Entiendo por qué el …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

Tengo curiosidad por qué hay por lo general sólo y normas de regularización. ¿Hay pruebas de por qué son mejores?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Cuando se utiliza la validación cruzada para hacer la selección del modelo (como, por ejemplo, el ajuste de hiperparámetros) y para evaluar el rendimiento del mejor modelo, se debe usar la validación cruzada anidada . El ciclo externo es evaluar el rendimiento del modelo, y el ciclo interno es seleccionar …

36 cross-validation  model-selection  ridge-regression 

Quiero usar Lazo o regresión de cresta para un modelo con más de 50,000 variables. Quiero hacerlo usando el paquete de software en R. ¿Cómo puedo estimar el parámetro de contracción ( λλ\lambda )? Ediciones: Este es el punto al que me levanté: set.seed (123) Y <- runif (1000) Xv …

36 r  lasso  ridge-regression  high-dimensional 

¿Se prefiere siempre la regularización de red elástica a Lasso & Ridge, ya que parece resolver los inconvenientes de estos métodos? ¿Cuál es la intuición y cuál es la matemática detrás de la red elástica?

35 regression  lasso  regularization  ridge-regression  elastic-net