Preguntas etiquetadas con regularization

Aquí hay algo que leí en el libro de Ian Goodfellow Deep Learning . En el contexto de las redes neuronales, "la penalización de la norma del parámetro L2 se conoce comúnmente como pérdida de peso. Esta estrategia de regularización lleva los pesos más cerca del origen. [...] Más en …

11 machine-learning  neural-networks  deep-learning  regularization 

Al elegir el parámetro de regularización lambda en Ridge o Lasso, el método recomendado es probar diferentes valores de lambda, medir el error en el conjunto de validación y finalmente elegir el valor de lambda que devuelve el error más bajo. No está claro para mí si la función f …

11 cross-validation  error  regularization  validation  optimization 

Ya tengo una idea sobre los pros y los contras de la regresión de crestas y el LASSO. Para el LASSO, el término de penalización L1 producirá un vector de coeficiente disperso, que puede verse como un método de selección de características. Sin embargo, existen algunas limitaciones para el LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Mientras tanto, estoy estudiando LASSO (operador de selección y contracción menos absoluta). Veo que el valor óptimo para el parámetro de regularización se puede elegir mediante validación cruzada. También veo en la regresión de crestas y en muchos métodos que aplican la regularización, podemos usar CV para encontrar el parámetro …

11 lasso  regularization  shrinkage 

Por técnicas de regularización me refiero a lazo, regresión de cresta, red elástica y similares. Considere un modelo predictivo sobre datos de atención médica que contenga datos demográficos y de diagnóstico en los que se pronostique la duración de la estadía para hospitalización. Para algunos individuos hay múltiples observaciones LOS …

11 multiple-regression  random-effects-model  regularization 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado el año pasado . ¿Qué implementaciones de código abierto, en cualquier idioma, existen que puedan calcular las rutas de regularización …

11 regression  lasso  regularization 

Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En la práctica, esto se hace usando un multiplicador de Lagrange, lo que hace que el problema se …

10 optimization  lasso  regularization  lagrange-multipliers 

En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Si tengo un diseño de matriz , donde n es el número de observaciones de dimensión d , lo que es la complejidad de la solución para β = argmin β 1X∈ Rn × dX∈Rnorte×reX\in\mathcal{R}^{n\times d}nortenortenreredcon LASSO, wrtny? Creo que la respuesta debería referirse a cómounaiteración de LASSO se escala …

10 optimization  lasso  regularization  time-complexity 

He estado en algunas charlas de estadísticas recientemente sobre el Lazo (regularización) y un punto que sigue surgiendo es que realmente no entendemos por qué funciona el Lazo o por qué funciona tan bien. Me pregunto a qué se refiere esta declaración. Obviamente, entiendo por qué el Lazo funciona técnicamente, …

10 machine-learning  lasso  regularization 

Como dice el título, estoy tratando de replicar los resultados de glmnet linear usando el optimizador LBFGS de la biblioteca lbfgs. Este optimizador nos permite agregar un término regularizador L1 sin tener que preocuparnos por la diferenciabilidad, siempre que nuestra función objetivo (sin el término regularizador L1) sea convexa. El …

10 r  regression  regularization  glmnet  elastic-net 

Es bien sabido (por ejemplo, en el campo de la detección de compresión) que la norma es "inductora de la dispersión", en el sentido de que si minimizamos lo funcional (para la matriz fija y el vector ) para lo suficientemente grande \ lambda> 0 , es probable que muchas …

10 regression  matrix  normalization  regularization  sparse 

Hay muchos métodos para llevar a cabo la regularización - , y regularización basada norma, por ejemplo. Según Friedman Hastie & Tibsharani , el mejor regularizador depende del problema: a saber, la naturaleza de la verdadera función objetivo, la base particular utilizada, la relación señal / ruido y el tamaño …

10 r  regression  machine-learning  regularization 

Utilizo RNN bidireccional para detectar un evento de ocurrencia desequilibrada. La clase positiva es 100 veces menos frecuente que la clase negativa. Si bien no se utiliza la regularización, puedo obtener un 100% de precisión en el conjunto de trenes y un 30% en el conjunto de validación. Enciendo la …

10 neural-networks  deep-learning  regularization  rnn 

¿Cómo realizar una regresión de cresta no negativa? El lazo no negativo está disponible en scikit-learn, pero para cresta, no puedo imponer la no negatividad de las versiones beta, y de hecho, estoy obteniendo coeficientes negativos. ¿Alguien sabe a que se debe esto? Además, ¿puedo implementar la cresta en términos …

10 regression  lasso  regularization  ridge-regression