Preguntas etiquetadas con dataset

Uno de los problemas comunes en la ciencia de datos es reunir datos de varias fuentes en un formato de alguna manera limpio (semi-estructurado) y combinar métricas de varias fuentes para hacer un análisis de nivel superior. Al observar el esfuerzo de otras personas, especialmente otras preguntas en este sitio, …

168 open-source  dataset 

Mi tarea de "aprendizaje automático" es separar el tráfico benigno de Internet del tráfico malicioso. En el escenario del mundo real, la mayoría (digamos 90% o más) del tráfico de Internet es benigno. Por lo tanto, sentí que debería elegir una configuración de datos similar para entrenar a mis modelos …

48 machine-learning  dataset  unbalanced-classes 

Estoy tratando de entrenar un modelo de aumento de gradiente en más de 50k ejemplos con 100 características numéricas. XGBClassifiermaneja 500 árboles en 43 segundos en mi máquina, mientras que GradientBoostingClassifiermaneja solo 10 árboles (!) en 1 minuto y 2 segundos :( No me molesté en tratar de cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Tengo un problema de clasificación con aproximadamente 1000 muestras positivas y 10000 negativas en el conjunto de entrenamiento. Entonces este conjunto de datos está bastante desequilibrado. El bosque aleatorio simple solo está tratando de marcar todas las muestras de prueba como una clase mayoritaria. Aquí se dan algunas buenas respuestas …

29 machine-learning  classification  dataset  unbalanced-classes 

Como una extensión de nuestra gran lista de conjuntos de datos disponibles públicamente , me gustaría saber si hay alguna lista de conjuntos de datos de redes sociales / API de rastreo disponibles públicamente. Sería muy bueno si junto con un enlace al conjunto de datos / API, se agregaran …

26 open-source  dataset  crawling 

Una técnica común después de entrenar, validar y probar el modelo de preferencia de Machine Learning es usar el conjunto de datos completo, incluido el subconjunto de pruebas, para entrenar un modelo final para implementarlo , por ejemplo, en un producto. Mi pregunta es: ¿es siempre lo mejor hacerlo? ¿Qué …

24 machine-learning  dataset  training  accuracy 

Cerrada . Esta pregunta está basada en la opinión . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que pueda ser respondida con hechos y citas editando esta publicación . Cerrado hace 5 años . No sé si este es un lugar adecuado para hacer …

23 machine-learning  bigdata  dataset 

En general, el modelo de aprendizaje automático se basa en conjuntos de datos. ¿Me gustaría saber si hay alguna forma de generar un conjunto de datos sintéticos utilizando un modelo de aprendizaje automático tan capacitado que conserve las características originales del conjunto de datos? [datos originales -> construir modelo de …

19 machine-learning  dataset 

Actualmente estoy buscando conjuntos de datos etiquetados para entrenar un modelo para extraer entidades nombradas del texto informal (algo similar a los tweets). Debido a que a menudo faltan mayúsculas y gramática en los documentos de mi conjunto de datos, estoy buscando datos fuera del dominio que sean un poco …

18 dataset  nlp 

Estoy trabajando en un desafío de Kaggle donde algunas variables están representadas por filas en lugar de columnas (Telstra Network Disruption). Actualmente estoy buscando el equivalente de recolectar (), separar () y difundir (), que se puede encontrar en la herramienta R tidyr.

18 r  python  dataset  data-cleaning  pandas 

Creo un corr()df a partir de un df original. El corr()DF salió 70 X 70 y es imposible de visualizar el mapa de calor ... sns.heatmap(df). Si trato de mostrar corr = df.corr(), la tabla no se ajusta a la pantalla y puedo ver todas las correlaciones. ¿Es una forma …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Espero que esta pregunta sea la más adecuada en este sitio ... En Python, por lo general, el nombre de la clase se define utilizando la letra mayúscula como primer carácter, por ejemplo class Vehicle: ... Sin embargo, en el campo del aprendizaje automático, a menudo los datos de entrenamiento …

15 python  dataset 

Si miro una de las muchas fuentes para las clases de Imagenet en Internet, no puedo encontrar una sola clase relacionada con los seres humanos (y no, el hombre de la cosecha no es alguien que cosecha, pero es lo que yo conocía como papá de piernas largas, una especie …

14 machine-learning  deep-learning  dataset  convnet  image-classification 

Soy un principiante en el aprendizaje automático y me enfrento a una situación. Estoy trabajando en un problema de oferta en tiempo real, con el conjunto de datos IPinYou y estoy tratando de hacer una predicción de clics. El hecho es que, como ya sabrá, el conjunto de datos está …

13 machine-learning  dataset  sampling 

Tengo un conjunto de resultados de una prueba A / B (un grupo de control, un grupo de características) que no se ajustan a una Distribución Normal. De hecho, la distribución se parece más a la distribución de Landau. Creo que la prueba t independiente requiere que las muestras estén …

13 dataset  statistics  ab-test