Preguntas etiquetadas con regularization

Podemos simular una regresión lineal sin aleatoriedad, lo que significa que hacemos lugar de . Entonces, si ajustamos un modelo lineal, los coeficientes serán idénticos a la "verdad fundamental". Aquí hay un ejemplo.y= Xβy=Xβy=X\betay= Xβ+ ϵy=Xβ+ϵy=X\beta+\epsilon set.seed(0) n <- 1e5 p <- 3 X <- matrix(rnorm(n*p), ncol=p) beta <- runif(p) …

8 r  logistic  regularization  linear  separation 

Tengo la siguiente configuración para un proyecto de investigación de Finanzas / Aprendizaje automático en mi universidad: estoy aplicando una Red neuronal (profunda) (MLP) con la siguiente estructura en Keras / Theano para distinguir las existencias con mejor rendimiento (etiqueta 1) de las existencias con bajo rendimiento ( etiqueta 0). …

8 machine-learning  neural-networks  deep-learning  regularization  dropout 

Una propiedad fundamental de la regresión de efectos aleatorios es que las estimaciones de interceptación aleatoria se "reducen" hacia la media general de la respuesta en función de la varianza relativa de cada estimación. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y} dónde ρj=τ2/ (τ2+σ2/ /nortej) .ρj=τ2/(τ2+σ2/nj).\rho_j = \tau^2 / (\tau^2 + …

8 mixed-model  regularization  shrinkage 

Estoy retrocediendo un predictor continuo en más de 60 variables (tanto continuas como categóricas) usando LASSO (glmnet). Al examinar el gráfico de traza variable, noto que a medida que aumenta el registro lambda, una de las variables clave tiene un coeficiente que en realidad aumenta. Luego, después de cierto punto, …

8 lasso  regularization  glmnet 

Me pregunto sobre la finura de rejilla óptima y cuál es la relación entre la finura de rejilla y el sobreajuste en métodos de regularización como LASSO, regresión de cresta o red elástica. Supongamos que quiero ajustar un modelo de regresión usando LASSO a una muestra de 500 observaciones (no …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Estoy tratando de entender cómo funciona la regularización en términos de proyecciones en una bola , y la proyección euclidiana en el simplex.l∗l∗l_* No estoy seguro de entender lo que queremos decir cuando proyectamos el vector de peso en las o .l1l1l_1l2l2l_2 Puedo entender el concepto de programa de regularización …

8 optimization  regularization  projection 

Por lo general, se dice que los antecedentes de las estadísticas bayesianas pueden considerarse factores de regularización, ya que penalizan las soluciones donde los lugares anteriores tienen una baja densidad de probabilidad. Entonces, dado este modelo simple cuyos parámetros MLE son: a r gm aXμ norte( y; μ , σ)argmaxμ …

8 bayesian  regularization  frequentist  philosophical 

Si seleccionamos diferentes valores del parámetro , podríamos obtener soluciones con diferentes niveles de dispersión. ¿Significa que la ruta de regularización es cómo seleccionar la coordenada que podría obtener una convergencia más rápida? Estoy un poco confundido, aunque he oído hablar de la escasez a menudo. Además, ¿podría dar una …

8 lasso  regularization 

Entiendo que los coeficientes de una ecuación logística se pueden interpretar como una relación impar. Si se agrega un término de regularización para controlar el sobreajuste, ¿cómo cambia esto la interpretación de los coeficientes?

8 logistic  interpretation  regression-coefficients  regularization  odds-ratio 

Estoy tratando de encontrar la estimación MAP para un modelo por gradiente de descenso. Mi anterior es gaussiano multivariante con una matriz de covarianza conocida. A nivel conceptual, creo que sé cómo hacer esto, pero esperaba ayuda con los detalles. En particular, si hay una manera más fácil de abordar …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Estoy tratando de implementar la regularización múltiple en máquinas de vectores de soporte (SVM) en Matlab. Estoy siguiendo las instrucciones en el documento de Belkin et al. (2006), ahí está la ecuación: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2} donde V es alguna función de pérdida y es …

8 machine-learning  svm  regularization 

He estado implementando la versión GLMNET de red elástica para regresión lineal con otro software que no sea R. Comparé mis resultados con la función R glmnet en modo lazo con datos de diabetes . La selección de variables está bien cuando se varía el valor del parámetro (lambda) pero …

8 r  lasso  regularization  glmnet  elastic-net