Preguntas etiquetadas con ridge-regression

Ya tengo una idea sobre los pros y los contras de la regresión de crestas y el LASSO. Para el LASSO, el término de penalización L1 producirá un vector de coeficiente disperso, que puede verse como un método de selección de características. Sin embargo, existen algunas limitaciones para el LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Apliqué algunos datos para encontrar la mejor solución de variables del modelo de regresión usando la regresión de cresta en R. He usado lm.ridgey glmnet(cuándo alpha=0), pero los resultados son muy diferentes, especialmente cuando lambda=0. Supongamos que ambos estimadores de parámetros tienen los mismos valores. ¿Entonces, cuál es el problema …

11 r  regression  ridge-regression  glmnet 

Después de leer el Capítulo 3 en los Elementos del aprendizaje estadístico (Hastie, Tibshrani y Friedman), me preguntaba si era posible implementar los famosos métodos de contracción citados en el título de esta pregunta dada una estructura de covarianza, es decir, minimizar el (quizás más general ) cantidad ( y⃗ …

11 lasso  ridge-regression 

Sea A una matriz de variables independientes y B sea la matriz de los valores dependientes. En la regresión Ridge, definimos un parámetro de modo que: . Ahora deje que [usv] = svd (A) y entrada diagonal de 's'. definimos grados de libertad (df) = . La regresión de cresta …

11 ridge-regression 

Estoy trabajando en algún proyecto de modelado predictivo en estos días: tratando de aprender un modelo y hacer predicciones en tiempo real basadas en el modelo que aprendí sin conexión. Comencé a usar la regresión de cresta recientemente, porque leí que la regularización puede ayudar a reducir el efecto de …

11 regression  prediction  multicollinearity  ridge-regression 

En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

He estado leyendo la descripción de la regresión de crestas en los modelos estadísticos lineales aplicados , 5ª edición, capítulo 11. La regresión de crestas se realiza con los datos de grasa corporal disponibles aquí . El libro de texto coincide con la salida en SAS, donde los coeficientes transformados …

10 r  sas  ridge-regression 

¿Cómo realizar una regresión de cresta no negativa? El lazo no negativo está disponible en scikit-learn, pero para cresta, no puedo imponer la no negatividad de las versiones beta, y de hecho, estoy obteniendo coeficientes negativos. ¿Alguien sabe a que se debe esto? Además, ¿puedo implementar la cresta en términos …

10 regression  lasso  regularization  ridge-regression 

Entiendo que podemos emplear la regularización en un problema de regresión de mínimos cuadrados como w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] y que este problema tiene una solución de forma cerrada como: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vemos que en la segunda ecuación, la regularización es simplemente agregar λλ\lambda …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

La Regresión de cresta se puede expresar como donde es la etiqueta predicha , la matriz de identificación , el objeto para el que estamos tratando de encontrar una etiqueta y la matriz de objetos tal que:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d …

10 regression  ridge-regression  kernel-trick 

Parece que estoy malentendido una afirmación sobre los métodos de regresión lineal que he visto en varios lugares. Los parámetros del problema son: Entrada: NNN muestras de datos de cantidades de , cada una de las cuales consiste en una cantidad de "respuesta" y p cantidades de "predictor" x_ {ij}p+1p+1p+1yiyiy_ipppxijxijx_{ij} …

10 regression  ridge-regression 

Soy consciente de que es una práctica común estandarizar las características para la regresión de cresta y lazo; sin embargo, ¿sería más práctico normalizar las características en una escala (0,1) como alternativa a la estandarización de la puntuación z para estos métodos de regresión?

9 normalization  lasso  standardization  ridge-regression 

Estoy trabajando en la validación cruzada de la predicción de mis datos con 200 sujetos y 1000 variables. Estoy interesado en la regresión de crestas ya que el número de variables (que quiero usar) es mayor que el número de muestra. Entonces quiero usar estimadores de contracción. Los siguientes son …

9 r  cross-validation  prediction  ridge-regression 

Estoy trabajando en un modelo de costo predictivo donde la edad del paciente (una cantidad entera medida en años) es una de las variables predictoras. Es evidente una fuerte relación no lineal entre la edad y el riesgo de hospitalización: Estoy considerando una spline de suavizado de regresión penalizada para …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Cuando , el problema de mínimos cuadrados que impone una restricción esférica en el valor de se puede escribir como para un sistema sobredeterminado. \ | \ cdot \ | _2 es la norma euclidiana de un vector.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y …

9 regression  least-squares  regularization  ridge-regression  underdetermined