Preguntas etiquetadas con feature-selection

De wikipedia, La reducción de dimensionalidad o reducción de dimensión es el proceso de reducir el número de variables aleatorias bajo consideración, y puede dividirse en selección de características y extracción de características. ¿Cuál es la diferencia entre la selección de características y la extracción de características? ¿Cuál es un …

59 feature-selection  feature-extraction  dimensionality-reduction 

¿Cuáles son las mejores prácticas comunes para manejar los datos de tiempo para la aplicación de aprendizaje automático? Por ejemplo, si en el conjunto de datos hay una columna con marca de tiempo del evento, como "2014-05-05", ¿cómo puede extraer características útiles de esta columna si las hay? ¡Gracias por …

45 machine-learning  time-series  feature-selection 

Estoy trabajando en el problema con demasiadas funciones y la capacitación de mis modelos lleva demasiado tiempo. Implementé el algoritmo de selección directa para elegir características. Sin embargo, me preguntaba si scikit-learn tiene un algoritmo de selección progresiva / regresión gradual.

37 feature-selection  scikit-learn 

Estoy tratando de entrenar un modelo de aumento de gradiente en más de 50k ejemplos con 100 características numéricas. XGBClassifiermaneja 500 árboles en 43 segundos en mi máquina, mientras que GradientBoostingClassifiermaneja solo 10 árboles (!) en 1 minuto y 2 segundos :( No me molesté en tratar de cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Específicamente, lo que estoy buscando son herramientas con alguna funcionalidad, que es específica para la ingeniería de características. Me gustaría poder suavizar, visualizar, rellenar huecos, etc. Algo similar a MS Excel, pero que tiene R como lenguaje subyacente en lugar de VB.

29 feature-selection  feature-extraction  feature-construction 

Actualmente estoy usando XGBoost en un conjunto de datos con 21 características (seleccionadas de la lista de unas 150 características), luego las codifiqué para obtener ~ 98 características. Algunas de estas 98 características son algo redundantes, por ejemplo: una variable (característica) también aparece como BUNAAA yCsiUNABA\frac{B}{A} .doUNACA\frac{C}{A} Mis preguntas son: …

23 feature-selection  correlation  xgboost  gbm 

Estoy participando en una competencia de kaggle. El conjunto de datos tiene alrededor de 100 características y todas son desconocidas (en términos de lo que realmente representan). Básicamente son solo números. La gente está realizando una gran cantidad de ingeniería de características en estas características. Me pregunto cómo exactamente uno …

19 machine-learning  feature-selection  feature-extraction  feature-engineering  kaggle 

El problema que estoy abordando es categorizar textos cortos en varias clases. Mi enfoque actual es utilizar frecuencias de término ponderadas tf-idf y aprender un clasificador lineal simple (regresión logística). Esto funciona razonablemente bien (alrededor del 90% de macro F-1 en el conjunto de prueba, casi el 100% en el …

19 machine-learning  classification  feature-selection  logistic-regression  information-retrieval 

Me pregunto si hay alguna heurística en el número de características versus el número de observaciones. Obviamente, si un número de características es igual al número de observaciones, el modelo se sobreajustará. Mediante el uso de métodos dispersos (LASSO, red elástica) podemos eliminar varias características para reducir el modelo. Mi …

17 feature-selection  model-selection 

Sé que no hay una respuesta clara para esta pregunta, pero supongamos que tengo una gran red neuronal, con muchos datos y quiero agregar una nueva característica en la entrada. La "mejor" forma sería probar la red con la nueva función y ver los resultados, pero ¿existe algún método para …

16 machine-learning  neural-network  feature-selection  feature-extraction 

Creo un corr()df a partir de un df original. El corr()DF salió 70 X 70 y es imposible de visualizar el mapa de calor ... sns.heatmap(df). Si trato de mostrar corr = df.corr(), la tabla no se ajusta a la pantalla y puedo ver todas las correlaciones. ¿Es una forma …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

La extracción de características y la selección de características esencialmente reducen la dimensionalidad de los datos, pero la extracción de características también hace que los datos sean más separables, si tengo razón. ¿Qué técnica se preferiría sobre la otra y cuándo? Estaba pensando, dado que la selección de características no …

16 feature-selection  feature-extraction  dimensionality-reduction 

Supongamos que tenemos dos tipos de características de entrada, categóricas y continuas. Los datos categóricos pueden representarse como un código de acceso directo A, mientras que los datos continuos son solo un vector B en el espacio de dimensión N. Parece que simplemente usar concat (A, B) no es una …

16 neural-network  feature-selection  categorical-data  feature-construction 

Suponga un conjunto de datos poco estructurados (por ejemplo, tablas web / datos abiertos vinculados), compuestos de muchas fuentes de datos. No existe un esquema común seguido de los datos y cada fuente puede usar atributos de sinónimos para describir los valores (por ejemplo, "nacionalidad" frente a "bornIn"). Mi objetivo …

15 machine-learning  statistics  feature-selection 

Tengo un conjunto de datos binarios altamente sesgado: tengo 1000 veces más ejemplos de la clase negativa que la clase positiva. Me gustaría entrenar un conjunto de árboles (como árboles extra aleatorios o un bosque aleatorio) sobre estos datos, pero es difícil crear conjuntos de datos de entrenamiento que contengan …

14 machine-learning  feature-selection  unbalanced-classes