Ciencia de los datos

Tengo dos tensor a:[batch_size, dim] b:[batch_size, dim]. Quiero hacer un producto interno para cada par en el lote, generando c:[batch_size, 1], dónde c[i,0]=a[i,:].T*b[i,:]. ¿Cómo?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Usamos .cache()en RDD para el almacenamiento en caché persistente de un conjunto de datos. Mi preocupación es cuándo expirará este almacenamiento en caché. dt = sc.parallelize([2, 3, 4, 5, 6]) dt.cache()

10 apache-spark  pyspark 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 años . Estoy trabajando en un proyecto y tengo dificultades para decidir qué algoritmo …

10 machine-learning  algorithms  random-forest  linear-regression  decision-trees  machine-learning  predictive-modeling  forecast  r  clustering  similarity  data-mining  dataset  statistics  text-mining  text-mining  data-cleaning  data-wrangling  machine-learning  classification  algorithms  xgboost  data-mining  dataset  dataset  regression  graphs  svm  unbalanced-classes  cross-validation  optimization  hyperparameter  genetic-algorithms  visualization  predictive-modeling  correlation  machine-learning  predictive-modeling  apache-spark  statistics  normalization  apache-spark  map-reduce  r  correlation  confusion-matrix  r  data-cleaning  classification  terminology  dataset  image-classification  machine-learning  regression  apache-spark  machine-learning  data-mining  nlp  parsing  machine-learning  dimensionality-reduction  visualization  clustering  multiclass-classification  evaluation  unsupervised-learning  machine-learning  machine-learning  data-mining  supervised-learning  unsupervised-learning  machine-learning  data-mining  classification  statistics  predictive-modeling  data-mining  clustering  python  pandas  machine-learning  dataset  data-cleaning  data  bigdata  software-recommendation 

Mis datos incluyen respuestas a encuestas que son binarias (numéricas) y nominales / categóricas. Todas las respuestas son discretas y a nivel individual. Los datos tienen forma (n = 7219, p = 105). Un par de cosas: Estoy tratando de identificar una técnica de agrupamiento con una medida de similitud …

10 clustering  k-means  scikit-learn  categorical-data 

Creé un clasificador Naive Bayes que utiliza la técnica de la bolsa de palabras para clasificar las publicaciones de spam en un tablero de mensajes. Funciona, pero creo que podría obtener mejores resultados si mis modelos consideraran el orden de las palabras y las frases. (p. ej., 'chicas' y 'en …

10 classification 

Estoy tratando de encontrar datos de stock para practicar, ¿hay un buen recurso para esto? Encontré esto: ftp://emi.nasdaq.com/ITCH/ pero solo tiene el año actual. Ya tengo una forma de analizar el protocolo, pero me gustaría tener más datos para comparar. No tiene que estar en el mismo formato, siempre que …

10 data-mining  dataset 

Tengo un conjunto de datos que contiene ~ 100,000 muestras de 50 clases. He estado usando SVM con un núcleo RBF para entrenar y predecir nuevos datos. Sin embargo, el problema es que el conjunto de datos está sesgado hacia diferentes clases. Por ejemplo, Clase 1 - 30 (~ 3% …

10 classification  svm 

Esta pregunta se refiere al algoritmo generativo versus discriminativo, pero ¿alguien puede dar un ejemplo de la diferencia entre estas formas cuando se aplica al procesamiento del lenguaje natural? ¿Cómo se usan los modelos generativos y discriminativos en la PNL?

10 nlp  language-model 

Estoy buscando algunos consejos sobre cómo curar una lista de palabras vacías. ¿Alguien sabe / alguien puede recomendar un buen método para extraer listas de palabras clave del conjunto de datos para el preprocesamiento y el filtrado? Los datos: una gran cantidad de entrada de texto humano de longitud variable …

9 data-mining  nlp  information-retrieval  language-model 

Estoy revisando la documentación de XGBoost y se dice que XGBoost es una biblioteca optimizada de aumento de gradiente distribuido . ¿Qué se entiende por distribuido? Que tengas un buen día

9 xgboost  distributed  boosting 

Mi conjunto de entrenamiento contiene aproximadamente 50k entradas con las que hago un aprendizaje inicial. Semanalmente, se agregan ~ 5k entradas; pero la misma cantidad "desaparece" (ya que son los datos del usuario los que deben eliminarse después de un tiempo) Por lo tanto, uso el aprendizaje en línea porque …

9 multiclass-classification  online-learning 

Estoy tratando de entrenar esta implementación Keras de Deeplabv3 + en Pascal VOC2012, usando el modelo pre-entrenado (que también fue entrenado en ese conjunto de datos). Obtuve resultados extraños con la precisión rápidamente convergente a 1.0: 5/5 [==============================] - 182s 36s/step - loss: 26864.4418 - acc: 0.7669 - val_loss: 19385.8555 …

9 python  deep-learning  keras  tensorflow 

La normalización por lotes y ReLU son soluciones al problema del gradiente de fuga. Si estamos usando la normalización por lotes, ¿deberíamos usar sigmoides? ¿O hay características de ReLU que hacen que valga la pena incluso cuando se usa batchnorm? Supongo que la normalización realizada en batchnorm enviará cero activaciones …

9 deep-learning  batch-normalization 

¿Se puede aplicar el aprendizaje por refuerzo para el pronóstico de series de tiempo?

9 time-series  reinforcement-learning  forecasting 

Estoy tratando de generar un modelo inteligente que pueda escanear un conjunto de palabras o cadenas y clasificarlas como nombres, números móviles, direcciones, ciudades, estados, países y otras entidades utilizando el aprendizaje automático o el aprendizaje profundo. Había buscado enfoques, pero desafortunadamente no encontré ningún enfoque. Intenté con el modelo …

9 machine-learning  deep-learning  text-mining  natural-language-process