Preguntas etiquetadas con regularization

Considere la regresión de cresta con una restricción adicional que requiere que tenga una unidad de suma de cuadrados (equivalente, varianza de unidad); si es necesario, se puede suponer que tiene una unidad de suma de cuadrados: Yy^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Supongamos que estoy tratando de estimar una gran cantidad de parámetros a partir de algunos datos de alta dimensión, utilizando algún tipo de estimaciones regularizadas. El regularizador introduce cierto sesgo en las estimaciones, pero aún puede ser una buena compensación porque la reducción en la variación debería compensarlo con creces. …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

He entendido cómo la regresión de crestas reduce los coeficientes hacia cero geométricamente. Además, sé cómo demostrar eso en el "Caso Ortonormal" especial, pero estoy confundido sobre cómo funciona en el caso general a través de "Descomposición espectral".

20 regression  multiple-regression  regularization  ridge-regression  svd 

Tengo una pregunta con respecto a la necesidad de utilizar métodos de selección de características (los bosques aleatorios tienen un valor de importancia de características o métodos de selección de características univariadas, etc.) antes de ejecutar un algoritmo de aprendizaje estadístico. Sabemos que para evitar el sobreajuste podemos introducir una …

20 regression  machine-learning  feature-selection  lasso  regularization 

Estoy usando libsvm en modo C-SVC con un núcleo polinomial de grado 2 y estoy obligado a entrenar múltiples SVM. Cada conjunto de entrenamiento tiene 10 características y 5000 vectores. Durante el entrenamiento, recibo esta advertencia para la mayoría de los SVM que entreno: WARNING: reaching max number of iterations …

20 machine-learning  cross-validation  svm  regularization  libsvm 

La regularización en regresión (lineal, logística ...) es la forma más popular de reducir el sobreajuste. Cuando el objetivo es la precisión de la predicción (no explicar), ¿hay alguna buena alternativa a la regularización, especialmente adecuada para grandes conjuntos de datos (mi / billones de observaciones y millones de características)?

19 regression  regularization  overfitting 

¿Puede ser útil la regularización si solo estamos interesados ​​en estimar (e interpretar) los parámetros del modelo, no en el pronóstico o la predicción? Veo cómo la regularización / validación cruzada es extremadamente útil si su objetivo es hacer buenos pronósticos sobre nuevos datos. Pero, ¿qué pasa si estás haciendo …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

Recuerdo haber leído en algún lugar de la web una conexión entre la regresión de cresta (con regularización) y la regresión de PCA: mientras usaba regresión con hiperparámetro , si , entonces la regresión es equivalente a eliminar el Variable de PC con el valor propio más pequeño.ℓ 2 λ …

19 regression  pca  regularization  ridge-regression 

Es bien sabido que la regresión lineal con una penalización de es equivalente a encontrar la estimación MAP dada una Gaussiana anterior sobre los coeficientes. Del mismo modo, usar una penalización es equivalente a usar una distribución de Laplace como la anterior.l2l2l^2l1l1l^1 No es raro usar alguna combinación ponderada de …

17 regression  bayesian  regularization  prior  elastic-net 

Si tiene media página para explicar el abandono , ¿cómo procedería? ¿Cuál es la razón detrás de esta técnica?

17 neural-networks  deep-learning  regularization  dropout 

En el libro de Bishop "Clasificación de patrones y aprendizaje automático", describe una técnica para la regularización en el contexto de redes neuronales. Sin embargo, no entiendo un párrafo que describa que durante el proceso de capacitación, el número de grados de libertad aumenta junto con la complejidad del modelo. …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Robby McKilliam dice en un comentario a esta publicación: Cabe señalar que, desde el punto de vista de los frecuentistas, no hay razón para que no pueda incorporar el conocimiento previo al modelo. En este sentido, la vista frecuentista es más simple, solo tiene un modelo y algunos datos. No …

17 bayesian  prior  regularization  frequentist 

Tengo un conjunto de 150 características, y muchas de ellas están altamente correlacionadas entre sí. Mi objetivo es predecir el valor de una variable discreta, cuyo rango es 1-8 . Mi tamaño de muestra es 550 , y estoy usando una validación cruzada 10 veces . AFAIK, entre los métodos …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Si comenzamos con un conjunto de datos , le aplicamos Lasso y obtenemos una solución β L , podemos volver a aplicar Lasso al conjunto de datos ( X S , Y ) , donde S es el conjunto de valores distintos de cero. índices de β L , para …

16 regression  optimization  lasso  regularization  shrinkage 

En la regresión de lazo o cresta, uno tiene que especificar un parámetro de contracción, a menudo llamado o . Este valor a menudo se elige a través de la validación cruzada al verificar un montón de valores diferentes en los datos de entrenamiento y ver cuál produce el mejor, …

16 regression  lasso  regularization  ridge-regression  penalized