Preguntas etiquetadas con lasso

En un escenario de regresión LASSO donde y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , y las estimaciones de LASSO están dadas por el siguiente problema de optimización minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 ¿Hay supuestos de distribución con respecto al ?ϵϵ\epsilon En un escenario OLS, uno esperaría que los …

18 regression  lasso  assumptions  residuals 

Se estima que los estimadores de regresión penalizados como LASSO y ridge corresponden a estimadores bayesianos con ciertos antecedentes. Supongo (como no sé lo suficiente sobre las estadísticas bayesianas) que para un parámetro de ajuste fijo, existe un previo concreto correspondiente. Ahora un frecuentista optimizaría el parámetro de ajuste mediante …

17 bayesian  lasso  ridge-regression 

Estoy ejecutando un LASSO que tiene algunos predictores de variables categóricas y algunos continuos. Tengo una pregunta sobre las variables categóricas. El primer paso que entiendo es dividir cada uno de ellos en tontos, estandarizarlos para una penalización justa y luego retroceder. Surgen varias opciones para tratar las variables ficticias: …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Dada una variable dependiente continua yy variables independientes que incluyen una variable ordinal X 1 , ¿cómo encajo un modelo lineal R? ¿Hay documentos sobre este tipo de modelo?

17 r  regression  lasso  ordinal-data  predictor 

Estoy usando Lasso para la selección de características en una configuración dimensional relativamente baja (n >> p). Después de ajustar un modelo de lazo, quiero usar las covariables con coeficientes distintos de cero para ajustar un modelo sin penalización. Estoy haciendo esto porque quiero estimaciones imparciales que Lasso no puede …

17 regression  feature-selection  lasso  unbiased-estimator 

Conozco los beneficios de la regularización cuando construyo modelos predictivos (sesgo vs. varianza, evitando el sobreajuste). Pero me pregunto si es una buena idea hacer también la regularización (lazo, cresta, red elástica) cuando el propósito principal del modelo de regresión es la inferencia de los coeficientes (ver qué predictores son …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Tengo un conjunto de 150 características, y muchas de ellas están altamente correlacionadas entre sí. Mi objetivo es predecir el valor de una variable discreta, cuyo rango es 1-8 . Mi tamaño de muestra es 550 , y estoy usando una validación cruzada 10 veces . AFAIK, entre los métodos …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Cuando se explica la regresión de LASSO, a menudo se usa el diagrama de un diamante y un círculo. Se dice que debido a que la forma de la restricción en LASSO es un diamante, la solución de mínimos cuadrados obtenida podría tocar la esquina del diamante de modo que …

16 regression  lasso  ridge-regression 

Estoy tratando de leer sobre la investigación en el área de regresión de alta dimensión; cuando ppp es mayor que nnn , es decir, p>>np>>np >> n . Parece que el término logp/nlog⁡p/n\log p/n aparece a menudo en términos de tasa de convergencia para estimadores de regresión. Por ejemplo, aquí …

16 regression  lasso  convergence  high-dimensional 

Si comenzamos con un conjunto de datos , le aplicamos Lasso y obtenemos una solución β L , podemos volver a aplicar Lasso al conjunto de datos ( X S , Y ) , donde S es el conjunto de valores distintos de cero. índices de β L , para …

16 regression  optimization  lasso  regularization  shrinkage 

En la regresión de lazo o cresta, uno tiene que especificar un parámetro de contracción, a menudo llamado o . Este valor a menudo se elige a través de la validación cruzada al verificar un montón de valores diferentes en los datos de entrenamiento y ver cuál produce el mejor, …

16 regression  lasso  regularization  ridge-regression  penalized 

Considere la regresión lineal con cierta regularización: Ej. Encuentre que minimice| El | A x - b | El | 2 + λ | El | x | El | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Por lo general, las columnas de A están estandarizadas para tener una media cero y una norma …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Si nos fijamos en la parte superior de esta publicación, el escritor menciona que la norma L2 tiene una solución única y la norma L1 tiene posiblemente muchas soluciones. Entiendo esto en términos de regularización, pero no en términos de usar la norma L1 o la norma L2 en …

16 regression  lasso  regularization 

Soy consciente del tipo de regularización LASSO, cresta y red elástica en modelos de regresión lineal. Pregunta: ¿Se puede aplicar este tipo (o similar) de estimación penalizada al modelado ARIMA (con una parte MA no vacía)? En la construcción de modelos ARIMA, parece habitual considerar un orden de retraso máximo …

15 time-series  arima  lasso  regularization  ridge-regression 

Estoy tratando de ver si elegir la regresión de cresta , LASSO , la regresión de componentes principales (PCR) o los mínimos cuadrados parciales (PLS) en una situación en la que hay un gran número de variables / características ( ) y un menor número de muestras ( ), y …

15 regression  pca  lasso  ridge-regression  partial-least-squares