Ciencia de los datos

La biblioteca matplotlib es muy capaz pero carece de interactividad, especialmente dentro de Jupyter Notebook. Me gustaría una buena herramienta como fuera de línea trazado plot.ly .

11 python  visualization  pca  jupyter 

Estoy tratando de usar CNN (red neuronal convolucional) para clasificar documentos. CNN para textos cortos / oraciones ha sido estudiado en muchos artículos. Sin embargo, parece que ningún documento ha utilizado CNN para textos o documentos largos. Mi problema es que hay demasiadas características de un documento. En mi conjunto …

11 classification  neural-network  text-mining  convnet  word2vec 

Alexa de Amazon , Mix de Nuance y Wit.ai de Facebook usan un sistema similar para especificar cómo convertir un comando de texto en una intención, es decir, algo que una computadora entendería. No estoy seguro de cuál es el nombre "oficial" para esto, pero lo llamo "reconocimiento de intenciones". …

11 machine-learning  nlp 

¿Qué tipo de características tratará de extraer de la lista de palabras para predecir en el futuro, es una palabra existente o solo un desorden de caracteres? Hay una descripción de la tarea que encontré allí . Tienes que escribir un programa que pueda responder si una palabra determinada es …

11 machine-learning  nlp  text-mining  algorithms 

Soy totalmente nuevo en word2vec, así que por favor llévelo conmigo. Tengo un conjunto de archivos de texto que contienen cada uno un conjunto de tweets, entre 1000-3000. Elegí una palabra clave común ("kw1") y quiero encontrar términos semánticamente relevantes para "kw1" usando word2vec. Por ejemplo, si la palabra clave …

11 machine-learning  nlp  text-mining 

Estaba trabajando en el modelo gensim de word2vec y lo encontré realmente interesante. Estoy interesado en encontrar cómo una palabra desconocida / invisible cuando se verifica con el modelo podrá obtener términos similares del modelo entrenado. es posible? ¿Se puede ajustar word2vec para esto? O el cuerpo de entrenamiento necesita …

11 nlp  deep-learning  word-embeddings  unsupervised-learning 

Tengo un conjunto de datos que tiene un atributo de clase binaria. Hay 623 instancias con clase +1 (cáncer positivo) y 101,671 instancias con clase -1 (cáncer negativo). He probado varios algoritmos (Naive Bayes, Random Forest, AODE, C4.5) y todos ellos tienen relaciones inaceptables de falsos negativos. Random Forest tiene …

11 classification  random-forest  decision-trees  unbalanced-classes 

Estoy trabajando en la configuración de un conjunto de máquinas virtuales para experimentar con Spark antes de gastar salir y gastar dinero en construir un clúster con algún hardware. Nota rápida: Soy un académico con experiencia en aprendizaje automático aplicado y trabajo un poco más en ciencia de datos. Utilizo …

11 python  apache-spark  pyspark  ipython 

Quiero evitar el sobreajuste en un bosque aleatorio. En este sentido, tengo la intención de utilizar mtry, nodosize, maxnodes, etc. ¿Podría ayudarme a elegir valores para estos parámetros? Estoy usando R. Además, si es posible, dígame cómo puedo usar la validación cruzada k-fold para bosque aleatorio (en R).

11 machine-learning  data-mining  r  predictive-modeling  random-forest 

Recientemente descubrí un nuevo paquete R para conectarse a la API de LinkedIn. Desafortunadamente, la API de LinkedIn parece bastante limitada para empezar; por ejemplo, solo puede obtener datos básicos sobre empresas, y esto se separa de los datos sobre individuos. Me gustaría obtener datos sobre todos los empleados de …

11 data-mining  social-network-analysis  crawling  scraping 

Google Trends devuelve datos semanales, así que tengo que encontrar una manera de combinarlos con mis datos diarios / mensuales. Lo que he hecho hasta ahora es dividir cada serie en datos diarios, por ejemplo: desde: 2013-03-03 - 2013-03-09 37 a: 2013-03-03 37 2013-03-04 37 2013-03-05 37 2013-03-06 37 2013-03-07 …

11 time-series 

¿Alguien puede explicar cómo las máquinas de factorización de campo (FFM) se comparan con las máquinas de factorización estándar (FM)? Estándar: http://www.ismll.uni-hildesheim.de/pub/pdfs/Rendle2010FM.pdf "Field Aware": http://www.csie.ntu.edu.tw/~r01922136/kaggle-2014-criteo.pdf

11 machine-learning  recommender-system 

Estoy mirando pybrain para tomar alarmas del monitor del servidor y determinar la causa raíz de un problema. Estoy contento con entrenarlo mediante el aprendizaje supervisado y curar los conjuntos de datos de capacitación. Los datos están estructurados de manera similar a esto: Servidor tipo A # 1 Alarma tipo …

11 machine-learning  neural-network 

La función base R glm()utiliza la puntuación de los pescadores para MLE, mientras que glmnetparece utilizar el método de descenso de coordenadas para resolver la misma ecuación. El descenso coordinado es más eficiente en tiempo que Fisher Scoring, ya que Fisher Scoring calcula la matriz derivada de segundo orden, además …

11 machine-learning  r  algorithms  optimization 

Permítame mostrarle un ejemplo de una hipotética aplicación de agrupación en línea: En el momento n, los puntos 1,2,3,4 se asignan al grupo azul A y los puntos b, 5,6,7 se asignan al grupo rojo B. En el momento n + 1 se introduce un nuevo punto a que se …

11 machine-learning  clustering