Preguntas etiquetadas con data-mining

He estado trabajando en aprendizaje automático y bioinformática durante un tiempo, y hoy tuve una conversación con un colega sobre los principales problemas generales de la minería de datos. Mi colega (que es un experto en aprendizaje automático) dijo que, en su opinión, el aspecto práctico más importante del aprendizaje …

11 machine-learning  data-mining  dataset  data-cleaning  data 

Quiero evitar el sobreajuste en un bosque aleatorio. En este sentido, tengo la intención de utilizar mtry, nodosize, maxnodes, etc. ¿Podría ayudarme a elegir valores para estos parámetros? Estoy usando R. Además, si es posible, dígame cómo puedo usar la validación cruzada k-fold para bosque aleatorio (en R).

11 machine-learning  data-mining  r  predictive-modeling  random-forest 

Recientemente descubrí un nuevo paquete R para conectarse a la API de LinkedIn. Desafortunadamente, la API de LinkedIn parece bastante limitada para empezar; por ejemplo, solo puede obtener datos básicos sobre empresas, y esto se separa de los datos sobre individuos. Me gustaría obtener datos sobre todos los empleados de …

11 data-mining  social-network-analysis  crawling  scraping 

Las estadísticas comunes de validación de modelos como la prueba de Kolmogorov-Smirnov (KS), AUROC y el coeficiente de Gini están relacionadas funcionalmente. Sin embargo, mi pregunta tiene que ver con probar cómo están todos relacionados. Tengo curiosidad por saber si alguien puede ayudarme a probar estas relaciones. No he podido …

11 data-mining  statistics  predictive-modeling  accuracy 

En mi universidad, tenemos un clúster de computación HPC. Yo uso el clúster para entrenar clasificadores, etc. Entonces, por lo general, para enviar un trabajo al clúster (por ejemplo, script de python scikit-learn), necesito escribir un script de Bash que contenga (entre otros) un comando como qsub script.py. Sin embargo, …

11 bigdata  data-mining 

Necesito encontrar la precisión de un conjunto de datos de entrenamiento mediante la aplicación de Algoritmo de bosque aleatorio. Pero mi tipo de conjunto de datos es categórico y numérico. Cuando intenté ajustar esos datos, recibí un error. 'La entrada contiene NaN, infinito o un valor demasiado grande para dtype …

11 python  data-mining  random-forest 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 5 años . Parece que la mayoría de los idiomas tienen cierto número de bibliotecas …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Tengo un conjunto de datos en la siguiente estructura insertada en un archivo CSV: Banana Water Rice Rice Water Bread Banana Juice Cada fila indica una colección de artículos que se compraron juntos. Por ejemplo, la primera fila indica que los artículos Banana, Watery Ricese compraron juntos. Quiero crear una …

10 python  r  data-mining  visualization  association-rules 

Tengo un gran conjunto de datos con 9 millones de objetos JSON a ~ 300 bytes cada uno. Son publicaciones de un agregador de enlaces: básicamente enlaces (una URL, título e identificación del autor) y comentarios (texto e identificación del autor) + metadatos. Bien podrían ser registros relacionales en una …

10 data-mining  bigdata  databases  sql  mongodb 

Estoy tratando de aprender el raspado web usando Python por mí mismo como parte de un esfuerzo por aprender el análisis de datos. Estoy tratando de raspar la página web de imdb cuya url es la siguiente: http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012 Estoy usando el módulo BeautifulSoup. El siguiente es el código que estoy …

10 data-mining  python  scraping 

Estoy tratando de configurar una infraestructura de big data usando Hadoop, Hive, Elastic Search (entre otros), y me gustaría ejecutar algunos algoritmos en ciertos conjuntos de datos. Me gustaría que los algoritmos en sí sean escalables, por lo que esto excluye el uso de herramientas como Weka, R o incluso …

10 data-mining  bigdata  algorithms  outlier 

Advertencia: soy un principiante completo cuando se trata de aprendizaje automático, pero estoy ansioso por aprender. Tengo un gran conjunto de datos y estoy tratando de encontrar un patrón en él. Es posible que exista / no una correlación entre los datos, ya sea con variables conocidas o con variables …

10 machine-learning  data-mining  tools  beginner 

He estado analizando un conjunto de datos de ~ 400k registros y 9 variables. La variable dependiente es binaria. He ajustado una regresión logística, un árbol de regresión, un bosque aleatorio y un árbol impulsado por gradiente. Todos ellos dan virtualmente idénticos números de bondad de ajuste cuando los valido …

10 data-mining  classification  binary 

Es muy común en los recomendadores que tengamos datos de productos del usuario que tengan una etiqueta como, por ejemplo, "clic". Para aprender el modelo, necesito datos de clic y sin clic. El enfoque más simple para generar es tomar pares de productos de usuario que no se encuentran en …

10 machine-learning  data-mining 

Estoy tratando de entrenar una red neuronal artificial con dos capas convolucionales (c1, c2) y dos capas ocultas (c1, c2). Estoy usando el enfoque estándar de retropropagación. En el paso hacia atrás calculo el término de error de una capa (delta) en función del error de la capa anterior, los …

10 machine-learning  data-mining  neural-network  deep-learning