Ciencia de los datos

Cuando digo "documento", tengo en mente páginas web como artículos de Wikipedia e historias de noticias. Prefiero las respuestas que ofrecen métricas de distancia léxica de vainilla o métricas de distancia semántica de última generación, con mayor preferencia por la última.

34 machine-learning  data-mining  nlp  text-mining  similarity 

Desde mi limitada experiencia en ciencia de datos con R, me di cuenta de que limpiar datos incorrectos es una parte muy importante de la preparación de datos para el análisis. ¿Existen mejores prácticas o procesos para limpiar los datos antes de procesarlos? Si es así, ¿existen herramientas automatizadas o …

34 r  data-cleaning 

Actualmente estoy tratando de abrir un archivo con pandas y python para fines de aprendizaje automático, sería ideal para mí tenerlos a todos en un DataFrame. Ahora el archivo es de 18 GB y mi RAM es de 32 GB, pero sigo recibiendo errores de memoria. Desde su experiencia, ¿es …

33 python  bigdata  pandas  anaconda 

¿Cómo puede programar en la biblioteca de keras (o flujo de tensor) para particionar el entrenamiento en múltiples GPU? Digamos que se encuentra en una instancia de Amazon ec2 que tiene 8 GPU y desea utilizarlas todas para entrenar más rápido, pero su código es solo para una sola CPU …

33 python  deep-learning  tensorflow  keras  gpu 

Leí sobre NCE (una forma de muestreo de candidatos) de estas dos fuentes: Escritura de Tensorflow Papel original Alguien me puede ayudar con lo siguiente: Una explicación simple de cómo funciona NCE (encontré lo anterior difícil de analizar y comprender, por lo que algo intuitivo que conduzca a las matemáticas …

32 deep-learning  tensorflow  word-embeddings  sampling  loss-function 

Estoy tratando de convertir una lista de listas que se parece a la siguiente en un marco de datos de Pandas [['New York Yankees ', '"Acevedo Juan" ', 900000, ' Pitcher\n'], ['New York Yankees ', '"Anderson Jason"', 300000, ' Pitcher\n'], ['New York Yankees ', '"Clemens Roger" ', 10100000, ' Pitcher\n'], …

31 pandas 

Con Hadoop 2.0 y YARN, Hadoop supuestamente ya no está vinculado solo a soluciones de reducción de mapas. Con ese avance, ¿cuáles son los casos de uso para Apache Spark vs Hadoop teniendo en cuenta que ambos se sientan encima de HDFS? He leído la documentación de introducción de Spark, …

30 apache-hadoop  distributed  knowledge-base 

Entonces, recientemente hay un documento de Normalización de capa . También hay una implementación en Keras. Pero recuerdo que hay documentos titulados Recurrent Batch Normalization (Cooijmans, 2016) y Batch Normalized Recurrent Neural Networks (Laurent, 2015). ¿Cuál es la diferencia entre esos tres? Existe esta sección de Trabajo relacionado que no …

30 deep-learning  rnn  normalization  batch-normalization 

Estoy trabajando en la investigación, en la necesidad de una GANADOR clasificar de tres eventos = ( win, draw, lose) WINNER LEAGUE HOME AWAY MATCH_HOME MATCH_DRAW MATCH_AWAY MATCH_U2_50 MATCH_O2_50 3 13 550 571 1.86 3.34 4.23 1.66 2.11 3 7 322 334 7.55 4.1 1.4 2.17 1.61 Mi modelo actual …

30 python  neural-network  classification  clustering  keras 

Tengo un gran problema de datos con un gran conjunto de datos (por ejemplo, 50 millones de filas y 200 columnas). El conjunto de datos consta de aproximadamente 100 columnas numéricas y 100 columnas categóricas y una columna de respuesta que representa un problema de clase binaria. La cardinalidad de …

30 machine-learning  classification  deep-learning 

¿Por qué usar softmax en lugar de la normalización estándar? En el área de comentarios de la respuesta principal de esta pregunta, @Kilian Batzner planteó 2 preguntas que también me confunden mucho. Parece que nadie da una explicación, excepto los beneficios numéricos. Obtengo las razones para usar la Pérdida de …

30 machine-learning  deep-learning 

Me parece que la función puede expresarse fácilmente por la función y, por lo tanto, la función parece superflua. Sin embargo, soy nuevo en el aprendizaje por refuerzo, así que supongo que algo está mal.VVVQQQVVV Definiciones El aprendizaje Q y V está en el contexto de los procesos de decisión …

30 machine-learning  reinforcement-learning 

En las tareas de aprendizaje automático, es común mezclar datos y normalizarlos. El propósito de la normalización es claro (por tener el mismo rango de valores de características). Pero, después de luchar mucho, no encontré ninguna razón valiosa para mezclar datos. He leído esta publicación aquí discutiendo cuándo necesitamos barajar …

30 machine-learning  neural-network  deep-learning 

En el contexto de Machine Learning , he visto que el término Ground Truth se usaba mucho. He buscado mucho y encontré la siguiente definición en Wikipedia : En el aprendizaje automático, el término "verdad fundamental" se refiere a la precisión de la clasificación del conjunto de entrenamiento para las …

30 machine-learning  neural-network  deep-learning 

Estoy tratando de entrenar un modelo de aumento de gradiente en más de 50k ejemplos con 100 características numéricas. XGBClassifiermaneja 500 árboles en 43 segundos en mi máquina, mientras que GradientBoostingClassifiermaneja solo 10 árboles (!) en 1 minuto y 2 segundos :( No me molesté en tratar de cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning