Preguntas etiquetadas con regularization

¿Cuáles son los pros y los contras de usar LARS [1] versus usar el descenso coordinado para ajustar la regresión lineal regularizada por L1? Estoy principalmente interesado en los aspectos de rendimiento (mis problemas tienden a tener Ncientos de miles y p<20). Sin embargo, cualquier otra información también sería apreciada. …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

He leído que el lazo de grupo se usa para la selección de variables y la dispersión en un grupo de variables. Quiero saber la intuición detrás de esta afirmación. ¿Por qué se prefiere el lazo grupal al lazo? ¿Por qué la ruta de solución de lazo grupal no es …

13 regression  feature-selection  lasso  regularization 

De acuerdo con este tutorial sobre aprendizaje profundo , la pérdida de peso (regularización) generalmente no se aplica a los términos de sesgo b ¿por qué? ¿Cuál es el significado (intuición) detrás de esto?

13 machine-learning  neural-networks  bias  regularization 

Me gustaría comparar modelos seleccionados con cresta, lazo y red elástica. La figura a continuación muestra las rutas de los coeficientes utilizando los 3 métodos: cresta (Fig. A, alfa = 0), lazo (Fig. B; alfa = 1) y red elástica (Fig. C; alfa = 0.5). La solución óptima depende del …

13 r  multiple-regression  modeling  regularization 

Estoy usando el paquete 'lars' en R con el siguiente código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Escucho estas palabras cada vez más a medida que estudio el aprendizaje automático. De hecho, algunas personas han ganado la medalla Fields trabajando en regularidades de ecuaciones. Entonces, supongo que este es un término que se traslada de la física estadística / matemáticas al aprendizaje automático. Naturalmente, varias personas a …

12 machine-learning  self-study  terminology  regularization  definition 

¿Alguien puede señalarme en la dirección de un algoritmo en línea (recursivo) para la regularización de Tikhonov (mínimos cuadrados regularizados)? En una configuración fuera de línea, calcularía usando mi conjunto de datos original donde se encuentra usando la validación cruzada n-fold. Se puede predecir un nuevo valor de y para …

12 regression  machine-learning  least-squares  regularization  online 

Me gustaría plantear esta pregunta en dos partes. Ambos tratan con un modelo lineal generalizado, pero el primero trata con la selección del modelo y el otro con la regularización. Antecedentes: Utilizo modelos GLM (lineal, logística, regresión gamma) tanto para la predicción como para la descripción. Cuando me refiero a …

12 regression  model-selection  regularization 

¿Hay buenos documentos o libros que traten sobre el uso del descenso coordinado para L1 (lazo) y / o la regularización neta elástica para problemas de regresión lineal?

12 regression  references  lasso  regularization  elastic-net 

En la detección comprimida, existe una garantía de teorema de que tiene una solución dispersa única c (consulte el apéndice para obtener más detalles).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc ¿Existe un teorema similar para el lazo? Si existe tal teorema, no …

12 regression  self-study  feature-selection  lasso  regularization 

Estoy buscando literatura sobre regresión de cresta negativa . En resumen, es una generalización de la regresión lineal de crestas usando negativa en la fórmula del estimador:El caso positivo tiene una buena teoría: como una función de pérdida, como una restricción, como un Bayes anterior ... pero me siento perdido …

12 regression  regularization  ridge-regression 

Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

Para evitar el sobreajuste de las personas, las personas agregan un término de regularización (proporcional a la suma al cuadrado de los parámetros del modelo) con un parámetro de regularización a la función de costo de la regresión lineal. ¿Es este parámetro lo mismo que un multiplicador lagrange? Entonces, ¿es …

12 regression  optimization  regularization 

Esta publicación sigue a esta: ¿Por qué la estimación de cresta se vuelve mejor que OLS al agregar una constante a la diagonal? Aquí está mi pregunta: Hasta donde yo sé, la regularización de crestas utiliza una -norm (distancia euclidiana). Pero, ¿por qué usamos el cuadrado de esta norma? (una …

12 lasso  regularization  ridge-regression 

Últimamente he estado viendo muchos documentos sobre representaciones dispersas, y la mayoría de ellos usan la norma ℓpℓp\ell_p y minimizan un poco. Mi pregunta es, ¿cuál es la norma ℓpℓp\ell_p y la norma mixta ℓp,qℓp,q\ell_{p, q} ? ¿Y cómo son relevantes para la regularización? Gracias

12 machine-learning  regularization  sparse