Preguntas etiquetadas con ridge-regression

Soy nuevo en la regresión de crestas. Cuando apliqué la regresión de cresta lineal, obtuve los siguientes resultados: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value …

9 ridge-regression 

Siguiendo con mi pregunta anterior , la solución a las ecuaciones normales para la regresión de crestas viene dada por: β^λ=(XTX+λI)−1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty ¿Podría ofrecer alguna guía para elegir el parámetro de regularización ? Además, dado que la diagonal de crece con el número de observaciones , ¿debería también …

9 regression  regularization  ridge-regression 

\def\l{|\!|} Dada la regresión neta elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 ¿Cómo se puede elegir un rango apropiado de λλ\lambda para la validación cruzada? En el caso α=1α=1\alpha=1 (regresión de cresta) la fórmula dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} se …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

En mínimos cuadrados ordinarios, regresando un vector objetivo yyy contra un conjunto de predictores XXX, la matriz del sombrero se calcula como H= X(XtX)- 1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t y la PRENSA (suma residual de cuadrados prevista) se calcula mediante SSPAGS=∑yo(miyo1 -hyo i)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left( \frac{e_i}{1-h_{ii}}\right)^2 dónde miyoeie_i es …

9 regression  cross-validation  ridge-regression 

Soy nuevo en ML. Me informaron que la normalización L2 de la regresión de cresta no castiga la intercepción . Como en la función de costo: El término de normalización L2 solo suma de a , no de a . También leí eso:θ0θ0\theta_{0}∇θJ(θ)=12∑i=1m(hθ⃗ (x(i))−y(i))2+λ∑j=1nθ2j∇θJ(θ)=12∑i=1m(hθ→(x(i))−y(i))2+λ∑j=1nθj2 \nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}} λ∑nj=1θ2jλ∑j=1nθj2\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}j=1j=1j=1nnnj=0j=0j=0nnn en la mayoría …

8 machine-learning  ridge-regression 

¿Alguien puede proporcionar una visión intuitiva de por qué es mejor tener una versión beta más pequeña? Para LASSO puedo entender que hay un componente de selección de características aquí. Menos características hacen que el modelo sea más simple y, por lo tanto, menos probable que se ajuste demasiado. Sin …

8 regression  lasso  ridge-regression  shrinkage 

Me pregunto sobre la finura de rejilla óptima y cuál es la relación entre la finura de rejilla y el sobreajuste en métodos de regularización como LASSO, regresión de cresta o red elástica. Supongamos que quiero ajustar un modelo de regresión usando LASSO a una muestra de 500 observaciones (no …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Estoy tratando de determinar qué alfa usar en mi glmnetfunción, pero el archivo de ayuda me dice: Tenga en cuenta que cv.glmnet NO busca valores para alfa. Se debe proporcionar un valor específico; de lo contrario, se supone alfa = 1 de forma predeterminada. Si los usuarios desean validar también …

8 r  lasso  ridge-regression  glmnet 

Tengo datos que describen con qué frecuencia tiene lugar un evento durante una hora ("número por hora", nph) y cuánto duran los eventos ("duración en segundos por hora", dph). Estos son los datos originales: nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, 9.21739130425452, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution 

Estoy tratando de encontrar la estimación MAP para un modelo por gradiente de descenso. Mi anterior es gaussiano multivariante con una matriz de covarianza conocida. A nivel conceptual, creo que sé cómo hacer esto, pero esperaba ayuda con los detalles. En particular, si hay una manera más fácil de abordar …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Tengo dos implementaciones diferentes de ridgeen MATLAB. Uno es simplemente x =(UNA′A + I λ)- 1UNA′six=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (como se ve en la página de regresión de cresta de Wikipedia ), con siendo la matriz de identidad de las columnas de tamaño ( \ mathbf {A} ) \ …

8 matlab  ridge-regression  sparse 

¿Alguien sabe cómo calcular el intervalo de predicción para la regresión de cresta? ¿Y cuál es su relación con el intervalo de predicción de la regresión OLS?

8 ridge-regression  prediction-interval