Preguntas etiquetadas con ridge-regression

La pregunta ¿Qué concluir de este diagrama de lazo (glmnet) demuestra caminos de solución para el estimador de lazo que no son monótonos? Es decir, algunos de los cofficientes crecen en valor absoluto antes de reducirse. He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y nunca …

18 lasso  ridge-regression  elastic-net 

Estoy usando la regresión de cresta en datos altamente multicolineales. Usando OLS obtengo grandes errores estándar en los coeficientes debido a la multicolinealidad. Sé que la regresión de crestas es una forma de lidiar con este problema, pero en todas las implementaciones de regresión de crestas que he visto, no …

18 standard-error  ridge-regression 

¿Cuál es la diferencia entre la regresión Primal , Dual y Kernel Ridge? Las personas están usando los tres, y debido a la notación diferente que todos usan en diferentes fuentes es difícil para mí seguir. Entonces, ¿alguien puede decirme en palabras simples cuál es la diferencia entre estos tres? …

18 regression  kernel-trick  ridge-regression 

Durante un experimento para la clasificación de texto, encontré que el clasificador de cresta genera resultados que constantemente superan las pruebas entre los clasificadores que se mencionan y aplican con mayor frecuencia para las tareas de minería de texto, como SVM, NB, kNN, etc. Sin embargo, no he elaborado en …

18 machine-learning  classification  text-mining  ridge-regression 

Se estima que los estimadores de regresión penalizados como LASSO y ridge corresponden a estimadores bayesianos con ciertos antecedentes. Supongo (como no sé lo suficiente sobre las estadísticas bayesianas) que para un parámetro de ajuste fijo, existe un previo concreto correspondiente. Ahora un frecuentista optimizaría el parámetro de ajuste mediante …

17 bayesian  lasso  ridge-regression 

Estoy implementando la Regresión de Ridge en un módulo Python / C, y me he encontrado con este "pequeño" problema. La idea es que quiero muestrear los grados efectivos de libertad más o menos equidistantes (como el gráfico de la página 65 en los "Elementos de aprendizaje estadístico" ), es …

17 ridge-regression 

Conozco los beneficios de la regularización cuando construyo modelos predictivos (sesgo vs. varianza, evitando el sobreajuste). Pero me pregunto si es una buena idea hacer también la regularización (lazo, cresta, red elástica) cuando el propósito principal del modelo de regresión es la inferencia de los coeficientes (ver qué predictores son …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Tengo un conjunto de 150 características, y muchas de ellas están altamente correlacionadas entre sí. Mi objetivo es predecir el valor de una variable discreta, cuyo rango es 1-8 . Mi tamaño de muestra es 550 , y estoy usando una validación cruzada 10 veces . AFAIK, entre los métodos …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Considere un problema de regresión OLS estándar : Tengo matrices y \ X y quiero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. La solución viene dada por \ hat \ B = \ argmin_ \ B \ {L …

16 regression  least-squares  ridge-regression 

Cuando se explica la regresión de LASSO, a menudo se usa el diagrama de un diamante y un círculo. Se dice que debido a que la forma de la restricción en LASSO es un diamante, la solución de mínimos cuadrados obtenida podría tocar la esquina del diamante de modo que …

16 regression  lasso  ridge-regression 

La regresión de cresta estima los parámetros ββ\boldsymbol \beta en un modelo lineal by dondeß λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , λy=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \betaβ^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top …

16 regression  ridge-regression  shrinkage 

En la regresión de lazo o cresta, uno tiene que especificar un parámetro de contracción, a menudo llamado o . Este valor a menudo se elige a través de la validación cruzada al verificar un montón de valores diferentes en los datos de entrenamiento y ver cuál produce el mejor, …

16 regression  lasso  regularization  ridge-regression  penalized 

Ya hay una publicación en este sitio que habla sobre el mismo problema: ¿Por qué funciona la contracción? Pero, aunque las respuestas son populares, no creo que la esencia de la pregunta se aborde realmente. Está bastante claro que la introducción de algún sesgo en la estimación conlleva una reducción …

15 regularization  ridge-regression  shrinkage 

Soy consciente del tipo de regularización LASSO, cresta y red elástica en modelos de regresión lineal. Pregunta: ¿Se puede aplicar este tipo (o similar) de estimación penalizada al modelado ARIMA (con una parte MA no vacía)? En la construcción de modelos ARIMA, parece habitual considerar un orden de retraso máximo …

15 time-series  arima  lasso  regularization  ridge-regression 

Estoy tratando de ver si elegir la regresión de cresta , LASSO , la regresión de componentes principales (PCR) o los mínimos cuadrados parciales (PLS) en una situación en la que hay un gran número de variables / características ( ) y un menor número de muestras ( ), y …

15 regression  pca  lasso  ridge-regression  partial-least-squares