Ciencia de los datos

Soy un ingeniero informático sin experiencia en estadística o matemática avanzada. Estoy estudiando el libro Python Machine Learning de Raschka y Mirjalili, pero cuando intenté comprender las matemáticas del Machine Learning, no pude entender el gran libro que un amigo me sugirió Los elementos del aprendizaje estadístico . ¿Conoces estadísticas …

14 machine-learning  statistics  reference-request  math 

Si tengo un conjunto de datos de entrenamiento y entreno un Clasificador Naive Bayes en él y tengo un valor de atributo que tiene probabilidad cero. ¿Cómo manejo esto si luego quiero predecir la clasificación en los nuevos datos? El problema es que si hay un cero en el cálculo, …

14 classification  naive-bayes-classifier 

Trabajo en una oficina donde SQL Server es la columna vertebral de todo lo que hacemos, desde el procesamiento de datos hasta la limpieza y el mung. Mi colega se especializa en escribir funciones complejas y procedimientos almacenados para procesar metódicamente los datos entrantes para que puedan estandarizarse y ponerse …

14 python  r  data-cleaning  data  sql 

https://radimrehurek.com/gensim/models/doc2vec.html Por ejemplo, si hemos entrenado doc2vec con "aaaaaAAAAAaaaaaa" - "etiqueta 1" "BbbbbbBBBBBbbbb" - "etiqueta 2" ¿podemos inferir que "aaaaAAAAaaaaAA" ​​es la etiqueta 1 usando Doc2vec? Sé que Doc2vec puede entrenar vectores de palabras y vectores de etiquetas. Usando estos vectores, ¿podemos inferir oraciones invisibles (combinación de palabras entrenadas) en …

14 gensim 

He leído que los HMM, los filtros de partículas y los filtros de Kalman son casos especiales de redes dinámicas de Bayes. Sin embargo, solo conozco HMM y no veo la diferencia con las redes dinámicas de Bayes. ¿Podría alguien explicarme? Sería bueno si su respuesta pudiera ser similar a …

14 bayesian-networks  pgm 

Debido a varias maldiciones de dimensionalidad , la precisión y la velocidad de muchas de las técnicas predictivas comunes se degradan en datos de alta dimensión. ¿Cuáles son algunas de las técnicas / trucos / heurísticas más útiles que ayudan a manejar los datos de alta dimensión de manera efectiva? …

14 machine-learning  statistics  dimensionality-reduction 

¿Cuáles son las condiciones de datos que debemos tener en cuenta, donde los valores p pueden no ser la mejor manera de decidir la significación estadística? ¿Existen tipos de problemas específicos que caen en esta categoría?

14 bigdata  statistics 

Estoy tratando de crear una red neuronal utilizando series de tiempo como entrada, para entrenarla según el tipo de cada serie. Leí que usando RNNs puedes dividir la entrada en lotes y usar cada punto de la serie de tiempo en neuronas individuales y eventualmente entrenar la red. Sin embargo, …

14 time-series  rnn 

Quiero entrenar a una CNN para el reconocimiento de imágenes. Las imágenes para entrenamiento no tienen un tamaño fijo. Quiero que el tamaño de entrada para el CNN sea 50x100 (alto x ancho), por ejemplo. Cuando cambio el tamaño de algunas imágenes de tamaño pequeño (por ejemplo, 32x32) al tamaño …

14 machine-learning  image-classification  preprocessing  image-recognition 

Problema 1: Estoy confundido por la descripción de LightGBM con respecto a la forma en que se expande el árbol. Ellos declaran: La mayoría de los algoritmos de aprendizaje del árbol de decisión crecen en árbol por nivel (profundidad), como en la siguiente imagen: Preguntas 1 : ¿Qué "mayoría" de …

14 decision-trees  xgboost 

Me pregunto en qué situaciones es ventajoso apilar LSTM.

14 machine-learning  neural-network  deep-learning  lstm 

Estoy usando Gensim Library en python para usar y entrenar el modelo word2vector. Recientemente, estaba buscando inicializar los pesos de mi modelo con un modelo word2vec previamente entrenado como (modelo preformado GoogleNewDataset). He estado luchando con eso un par de semanas. Ahora, acabo de buscar que en gesim hay una …

14 python  nlp  word-embeddings  word2vec  gensim 

Leí en esta publicación ¿Es el lenguaje R adecuado para Big Data lo que constituye big data 5TB, y si bien hace un buen trabajo al proporcionar información sobre la viabilidad de trabajar con este tipo de datos R, proporciona muy poca información Python? Me preguntaba si Pythonpuede funcionar con …

14 bigdata  python 

Hasta donde sé, para entrenar a aprender a clasificar modelos, debe tener tres cosas en el conjunto de datos: etiqueta o relevancia ID de grupo o consulta vector de características Por ejemplo, el conjunto de datos Microsoft Learning to Rank usa este formato (etiqueta, identificación de grupo y características). 1 …

14 search  ranking  xgboost  gbm 

He creado un modelo LSTM para predecir preguntas duplicadas en el conjunto de datos oficial de Quora. Las etiquetas de la prueba son 0 o 1. 1 indica que el par de preguntas está duplicado. Después de construir el modelo usando model.fit, pruebo el modelo usando model.predictlos datos de prueba. …

14 machine-learning  python  neural-network  keras  lstm