Preguntas etiquetadas con regularization

Cuando uso GAM, me da un DF residual de 26.626.626.6 (última línea en el código). Qué significa eso? Yendo más allá del ejemplo de GAM, en general, ¿puede el número de grados de libertad ser un número no entero? > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Cuando presento conceptos a mis alumnos, a menudo me resulta divertido decirles dónde se origina la terminología ("regresión", por ejemplo, es un término con un origen interesante). No he podido subir la historia / antecedentes del término "regularización" en estadística / aprendizaje automático. Entonces, ¿cuál es el origen del término …

27 terminology  regularization  history  tikhonov-regularization 

He leído en varias referencias que la estimación de Lasso para el vector de parámetro de regresión es equivalente al modo posterior de en el que la distribución previa para cada es una distribución exponencial doble (también conocida como distribución de Laplace).BBBB iBBBBiBiB_i He estado tratando de probar esto, ¿alguien …

27 regression  bayesian  lasso  prior  regularization 

Completé el curso de Aprendizaje automático de Andrew Ng hace aproximadamente un año, y ahora estoy escribiendo mi exploración de matemáticas en la escuela secundaria sobre el funcionamiento de la regresión logística y las técnicas para optimizar el rendimiento. Una de estas técnicas es, por supuesto, la regularización. El objetivo …

27 regression  machine-learning  optimization  regularization  overfitting 

Una vez escuché un método de usar el lazo dos veces (como un lazo doble) en el que realizas un lazo en el conjunto original de variables, por ejemplo, S1, obtienes un conjunto disperso llamado S2 y luego vuelves a realizar el lazo en el conjunto S2 para obtener el …

26 regression  lasso  regularization  shrinkage  lars 

Para la regresión Lasso suponga que la mejor solución (error de prueba mínimo, por ejemplo) selecciona k características, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ …

26 regression  feature-selection  lasso  regularization 

Supongamos que yo estoy corriendo una regresión . ¿Por qué al seleccionar los principales componentes principales de , el modelo conserva su poder predictivo en ?Y∼XY∼XY \sim XkkkXXXYYY Entiendo que desde el punto de vista de reducción de dimensionalidad / selección de características, si son los vectores propios de la …

25 regression  classification  pca  dimensionality-reduction  regularization 

Tengo varias preguntas sobre la penalización de cresta en el contexto de mínimos cuadrados: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) La expresión sugiere que la matriz de covarianza de X se reduce hacia una matriz diagonal, lo que significa que (suponiendo que las variables estén estandarizadas antes del procedimiento) …

25 regression  pca  regularization  ridge-regression 

Suponga que tengo un conjunto de datos para una tarea de clasificación estadística supervisada, por ejemplo, a través de un clasificador de Bayes. Este conjunto de datos consta de 20 características y quiero reducirlo a 2 características mediante técnicas de reducción de dimensionalidad como el Análisis de componentes principales (PCA) …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Entonces me hicieron una pregunta sobre qué medidas centrales L1 (es decir, lazo) y L2 (es decir, regresión de cresta) estimaron. La respuesta es L1 = mediana y L2 = media. ¿Hay algún tipo de razonamiento intuitivo para esto? ¿O tiene que determinarse algebraicamente? Si es así, ¿cómo hago para …

24 lasso  regularization  loss-functions  ridge-regression 

Entiendo qué papel juega lambda en una regresión de red elástica. Y puedo entender por qué uno seleccionaría lambda.min, el valor de lambda que minimiza el error de validación cruzada. Mi pregunta es ¿En qué parte de la literatura estadística se recomienda usar lambda.1se, que es el valor de lambda …

24 regression  cross-validation  regularization  glmnet  elastic-net 

Algunas funciones de penalización y aproximaciones están bien estudiadas, como LASSO ( ) y Ridge ( ) y cómo se comparan en regresión.L 2L1L1L_1L2L2L_2 He estado leyendo sobre la penalización de Bridge, que es la penalización generalizada . Compare eso con el LASSO, que tiene \ gamma = 1 , …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Estaba revisando la literatura sobre regularización, y a menudo veo párrafos que vinculan la regulación de L2 con Gaussian anterior, y L1 con Laplace centrada en cero. Sé cómo se ven estos anteriores, pero no entiendo cómo se traduce, por ejemplo, a los pesos en el modelo lineal. En L1, …

22 regression  bayesian  prior  regularization  laplace-distribution 

He estado leyendo Los elementos del aprendizaje estadístico y no podía entender de qué se trata la Sección 3.7 "Reducción y selección de resultados múltiples". Habla de RRR (regresión de rango reducido), y solo puedo entender que la premisa se trata de un modelo lineal multivariado generalizado donde los coeficientes …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

Quiero comprender mejor los paquetes R Larsy Glmnet, que se utilizan para resolver el problema de Lasso: (para Variables y muestras, ver www.stanford.edu/~hastie/Papers/glmnet.pdf en la página 3)m i n( β0 0β) ∈ Rp + 1[ 12 N∑i = 1norte( yyo- β0 0- xTyoβ)2+ λ | El | βEl | El …

22 r  regression  machine-learning  lasso  regularization