Preguntas etiquetadas con feature-selection

Me gustaría implementar un algoritmo para la selección automática de modelos. Estoy pensando en hacer una regresión gradual, pero cualquier cosa servirá (aunque debe basarse en regresiones lineales). Mi problema es que no puedo encontrar una metodología o una implementación de código abierto (estoy trabajando en Java). La metodología que …

193 references  feature-selection  model-selection  aic  stepwise-regression 

Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Recientemente he estado leyendo mucho en este sitio (@Aniko, @Dikran Marsupial, @Erik) y en otros lugares sobre el problema del sobreajuste que ocurre con la validación cruzada - (Smialowski et al 2010 Bioinformática, Hastie, Elementos de aprendizaje estadístico). La sugerencia es que cualquier selección de características supervisadas (utilizando la correlación …

76 cross-validation  feature-selection 

Estoy un poco confundido acerca de la selección de funciones y el aprendizaje automático y me preguntaba si podrían ayudarme. Tengo un conjunto de datos de microarrays que se clasifica en dos grupos y tiene miles de características. Mi objetivo es obtener una pequeña cantidad de genes (mis características) (10-20) …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

He estado leyendo Elementos de aprendizaje estadístico , y me gustaría saber por qué el Lazo proporciona selección de variables y la regresión de crestas no. Ambos métodos minimizan la suma residual de cuadrados y tienen una restricción sobre los posibles valores de los parámetros . Para Lasso, la restricción …

76 regression  feature-selection  lasso  regularization 

Esta pregunta se hizo en CV hace algunos años, parece que vale la pena volver a publicar a la luz de 1) orden de magnitud mejor tecnología informática (por ejemplo, computación paralela, HPC, etc.) y 2) técnicas más nuevas, por ejemplo [3]. Primero, un poco de contexto. Supongamos que el …

68 machine-learning  modeling  feature-selection  model-selection  prediction 

Por lo que sé, usar el lazo para la selección de variables maneja el problema de las entradas correlacionadas. Además, dado que es equivalente a la regresión de ángulo mínimo, no es lenta computacionalmente. Sin embargo, muchas personas (por ejemplo, personas que conozco haciendo bioestadística) todavía parecen estar a favor …

60 regression  feature-selection  lasso 

¿En qué circunstancias desearía, o no, escalar o estandarizar una variable antes del ajuste del modelo? ¿Y cuáles son las ventajas / desventajas de escalar una variable?

57 modeling  predictive-models  feature-selection  theory  standardization 

Antecedentes Estoy haciendo investigación clínica en medicina y he tomado varios cursos de estadística. Nunca publiqué un artículo usando regresión lineal / logística y me gustaría hacer la selección de variables correctamente. La interpretabilidad es importante, por lo que no es necesario utilizar técnicas de aprendizaje automático. He resumido mi …

55 regression  feature-selection  model-selection 

Soy nuevo en la selección de funciones y me preguntaba cómo usaría PCA para realizar la selección de funciones. ¿PCA calcula una puntuación relativa para cada variable de entrada que puede usar para filtrar variables de entrada no informativas? Básicamente, quiero poder ordenar las características originales en los datos por …

54 r  pca  feature-selection 

Dado que RF puede manejar la no linealidad pero no puede proporcionar coeficientes, ¿sería prudente utilizar un bosque aleatorio para reunir las características más importantes y luego conectar esas características en un modelo de regresión lineal múltiple para obtener sus coeficientes?

50 regression  machine-learning  feature-selection  random-forest  regression-strategies 

Considero el problema de la clasificación (multiclase) basada en series de tiempo de longitud variable TTT , es decir, encontrar una función f(XT)=y∈[1..K]for XT=(x1,…,xT)with xt∈Rd ,f(XT)=y∈[1..K]for XT=(x1,…,xT)with xt∈Rd ,f(X_T) = y \in [1..K]\\ \text{for } X_T = (x_1, \dots, x_T)\\ \text{with } x_t \in \mathbb{R}^d ~, través de una representación …

43 time-series  classification  feature-selection  signal-processing 

Estoy tratando de interpretar los pesos variables dados ajustando un SVM lineal. (Estoy usando scikit-learn ): from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ No puedo encontrar nada en la documentación que indique específicamente cómo se calculan o interpretan estos pesos. ¿El signo del peso tiene algo que …

42 svm  feature-selection  python  scikit-learn 

Lo siento si esta pregunta es un poco básica. Estoy buscando utilizar la selección de variables LASSO para un modelo de regresión lineal múltiple en R. Tengo 15 predictores, uno de los cuales es categórico (¿eso causará un problema?). Después de configurar mi e utilizo los siguientes comandos:XXxyyy model = …

39 feature-selection  lasso  glmnet  lars 

Soy un estudiante de economía con algo de experiencia con econometría y R. Me gustaría saber si alguna vez hay una situación en la que deberíamos incluir una variable en una regresión a pesar de que no sea estadísticamente significativa.

37 statistical-significance  feature-selection