Ciencia de los datos

Soy bastante nuevo en esto y no puedo decir que tengo una comprensión completa de los conceptos teóricos detrás de esto. Estoy tratando de calcular la divergencia de KL entre varias listas de puntos en Python. Estoy usando http://scikit-learn.org/stable/modules/generated/sklearn.metrics.mutual_info_score.html para intentar hacer esto. El problema con el que me encuentro …

22 python  clustering  scikit-learn 

Esto es más como una pregunta general de PNL. ¿Cuál es la entrada adecuada para entrenar una incrustación de palabras, a saber, Word2Vec? ¿Deberían todas las oraciones que pertenecen a un artículo ser un documento separado en un corpus? ¿O debería cada artículo ser un documento en dicho corpus? Este …

22 nlp  word-embeddings 

A menudo escuché a personas decir que por qué las redes neuronales convolucionales todavía se entienden mal. ¿Se sabe por qué las redes neuronales convolucionales siempre terminan aprendiendo características cada vez más sofisticadas a medida que avanzamos en las capas? ¿Qué les causó crear una pila de características y esto …

22 machine-learning  neural-network  deep-learning  convnet  cnn 

Con todo el alboroto en torno a la ciencia de datos, el aprendizaje automático y todas las historias de éxito, hay muchas expectativas tanto justificadas como demasiado infladas de los científicos de datos y sus modelos predictivos. Mi pregunta para los estadísticos, expertos en aprendizaje automático y científicos de datos …

22 performance  accuracy 

Fondo Estoy trabajando en un conjunto de datos de series temporales de lecturas de medidores de energía. La longitud de la serie varía según el metro: para algunos tengo varios años, otros solo unos pocos meses, etc. Muchos muestran una estacionalidad significativa y, a menudo, varias capas, dentro del día, …

22 data-mining  clustering  time-series  beginner 

¿Hay alguna manera de agregar más importancia a los puntos que son más recientes al analizar datos con xgboost?

22 xgboost  weighted-data 

¿Cómo calcular el mAP (precisión media promedio) para la tarea de detección de las tablas de clasificación de Pascal VOC? http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=4 Dicho esto, en la página 11 : http://homepages.inf.ed.ac.uk/ckiw/postscript/ijcv_voc09.pdf Precisión media (AP). Para el desafío VOC2007, se usó la precisión promedio interpolada (Salton y Mcgill 1986) para evaluar tanto la …

22 machine-learning  neural-network  svm  computer-vision  object-recognition 

Tengo un Pandas DataFrame como este: df = pd.DataFrame({ 'Date': ['2017-1-1', '2017-1-1', '2017-1-2', '2017-1-2', '2017-1-3'], 'Groups': ['one', 'one', 'one', 'two', 'two'], 'data': range(1, 6)}) Date Groups data 0 2017-1-1 one 1 1 2017-1-1 one 2 2 2017-1-2 one 3 3 2017-1-2 two 4 4 2017-1-3 two 5 ¿Cómo puedo generar …

21 python  pandas  dataframe 

Tengo 10 marcos de datos pyspark.sql.dataframe.DataFrame, obtenidos de randomSplitcomo (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)Ahora quiero unir 9 tden un solo marco de datos, ¿cómo debo hacer eso? Ya lo he intentado …

21 python  apache-spark  cross-validation  pyspark 

Tengo el campo 'hora' como mi atributo, pero toma valores cíclicos. ¿Cómo podría transformar la función para preservar la información como '23' y '0' hora? Una forma en que podría pensar es hacer la transformación: min(h, 23-h) Input: [0 1 2 3 4 5 6 7 8 9 10 11 …

21 feature-extraction  feature-scaling  featurization 

Traté de cargar el modelo preformado fastText desde aquí el modelo Fasttext . Estoy usando wiki.simple.en from gensim.models.keyedvectors import KeyedVectors word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) Pero, muestra los siguientes errores Traceback (most recent call last): File "nltk_check.py", line 28, in <module> word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) File "P:\major_project\venv\lib\sitepackages\gensim\models\keyedvectors.py",line 206, in load_word2vec_format header …

21 nlp  gensim 

Al entrenar redes neuronales, un hiperparámetro es del tamaño de un minibatch. Las opciones comunes son 32, 64 y 128 elementos por mini lote. ¿Existen reglas / pautas sobre el tamaño de un mini lote? ¿Alguna publicación que investigue el efecto en el entrenamiento?

21 neural-network  deep-learning  convnet  optimization 

Tengo un conjunto de datos que contiene 34 columnas de entrada y 8 columnas de salida. Una forma de resolver el problema es tomar las 34 entradas y construir un modelo de regresión individual para cada columna de salida. Me pregunto si este problema puede resolverse usando solo un modelo, …

21 neural-network  regression  tensorflow 

Recientemente se le preguntó a un amigo mío si los algoritmos del árbol de decisión son algoritmos lineales o no lineales en una entrevista. Traté de buscar respuestas a esta pregunta pero no pude encontrar ninguna explicación satisfactoria. ¿Alguien puede responder y explicar la solución a esta pregunta? Además, ¿cuáles …

21 machine-learning  classification  decision-trees  algorithms  pac-learning 

Bastante nuevo en Python pero construyendo mi primer modelo de RF basado en algunos datos de clasificación. He convertido todas las etiquetas en datos numéricos int64 y cargado en X e Y como una matriz numpy, pero estoy detectando un error cuando estoy tratando de entrenar a los modelos. Así …

21 python  scikit-learn  sampling