Preguntas etiquetadas con ridge-regression

Soy un ingeniero de software que aprende el aprendizaje automático, particularmente a través de los cursos de aprendizaje automático de Andrew Ng . Mientras estudiaba la regresión lineal con la regularización , encontré términos que son confusos: Regresión con regularización L1 o regularización L2 LAZO Regresión de cresta Entonces mis …

33 regression  terminology  lasso  regularization  ridge-regression 

La regularización de Tikhonov y la regresión de crestas son términos que a menudo se usan como si fueran idénticos. ¿Es posible especificar exactamente cuál es la diferencia?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

¿Cómo se comparan los métodos de regularización de cresta, LASSO y elasticnet? ¿Cuáles son sus respectivas ventajas y desventajas? Cualquier buen documento técnico o apuntes de clase también serán apreciados.

33 references  lasso  regularization  ridge-regression  elastic-net 

Nota: Sé que L1 tiene una propiedad de selección de características. Estoy tratando de entender cuál elegir cuando la selección de funciones es completamente irrelevante. ¿Cómo decidir qué regularización (L1 o L2) usar? ¿Cuáles son los pros y los contras de cada una de las regularizaciones L1 / L2? ¿Se …

30 regression  lasso  regularization  ridge-regression 

Estoy usando glmnet para calcular las estimaciones de regresión de crestas. Obtuve algunos resultados que me hicieron sospechar que glmnet realmente está haciendo lo que creo que hace. Para verificar esto, escribí un script R simple donde comparo el resultado de la regresión de cresta realizada por resolver y el …

28 r  ridge-regression  glmnet 

Tengo varias preguntas sobre la penalización de cresta en el contexto de mínimos cuadrados: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) La expresión sugiere que la matriz de covarianza de X se reduce hacia una matriz diagonal, lo que significa que (suponiendo que las variables estén estandarizadas antes del procedimiento) …

25 regression  pca  regularization  ridge-regression 

Entonces me hicieron una pregunta sobre qué medidas centrales L1 (es decir, lazo) y L2 (es decir, regresión de cresta) estimaron. La respuesta es L1 = mediana y L2 = media. ¿Hay algún tipo de razonamiento intuitivo para esto? ¿O tiene que determinarse algebraicamente? Si es así, ¿cómo hago para …

24 lasso  regularization  loss-functions  ridge-regression 

Algunas funciones de penalización y aproximaciones están bien estudiadas, como LASSO ( ) y Ridge ( ) y cómo se comparan en regresión.L 2L1L1L_1L2L2L_2 He estado leyendo sobre la penalización de Bridge, que es la penalización generalizada . Compare eso con el LASSO, que tiene \ gamma = 1 , …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Considere la regresión de cresta con una restricción adicional que requiere que tenga una unidad de suma de cuadrados (equivalente, varianza de unidad); si es necesario, se puede suponer que tiene una unidad de suma de cuadrados: Yy^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Supongamos que estoy tratando de estimar una gran cantidad de parámetros a partir de algunos datos de alta dimensión, utilizando algún tipo de estimaciones regularizadas. El regularizador introduce cierto sesgo en las estimaciones, pero aún puede ser una buena compensación porque la reducción en la variación debería compensarlo con creces. …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Para un modelo lineal , el término de contracción siempre es .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) ¿Cuál es la razón por la que no término de sesgo (intercepción) ? ¿Deberíamos reducir el término de sesgo en los modelos de redes neuronales?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Considere el modelo estándar para regresión múltiple donde , por lo que la normalidad, la homocedasticidad y la falta de correlación de errores se mantienen.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2yonorte)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Supongamos que realizamos una …

21 regression  assumptions  ridge-regression 

He entendido cómo la regresión de crestas reduce los coeficientes hacia cero geométricamente. Además, sé cómo demostrar eso en el "Caso Ortonormal" especial, pero estoy confundido sobre cómo funciona en el caso general a través de "Descomposición espectral".

20 regression  multiple-regression  regularization  ridge-regression  svd 

Estoy usando el paquete R penalizado para obtener estimaciones reducidas de coeficientes para un conjunto de datos donde tengo muchos predictores y poco conocimiento de cuáles son importantes. Después de haber elegido los parámetros de ajuste L1 y L2 y estoy satisfecho con mis coeficientes, ¿hay una forma estadísticamente sólida …

20 regression  lasso  stepwise-regression  ridge-regression 

Recuerdo haber leído en algún lugar de la web una conexión entre la regresión de cresta (con regularización) y la regresión de PCA: mientras usaba regresión con hiperparámetro , si , entonces la regresión es equivalente a eliminar el Variable de PC con el valor propio más pequeño.ℓ 2 λ …

19 regression  pca  regularization  ridge-regression