Preguntas etiquetadas con data-cleaning

Motivación Trabajo con conjuntos de datos que contienen información de identificación personal (PII) y, a veces, necesito compartir parte de un conjunto de datos con terceros, de manera que no exponga la PII y exponga a mi empleador a responsabilidad. Nuestro enfoque habitual aquí es retener datos por completo o, …

42 data-cleaning  anonymization 

Desde mi limitada experiencia en ciencia de datos con R, me di cuenta de que limpiar datos incorrectos es una parte muy importante de la preparación de datos para el análisis. ¿Existen mejores prácticas o procesos para limpiar los datos antes de procesarlos? Si es así, ¿existen herramientas automatizadas o …

34 r  data-cleaning 

Estoy tratando de entrenar un modelo de aumento de gradiente en más de 50k ejemplos con 100 características numéricas. XGBClassifiermaneja 500 árboles en 43 segundos en mi máquina, mientras que GradientBoostingClassifiermaneja solo 10 árboles (!) en 1 minuto y 2 segundos :( No me molesté en tratar de cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Dada una oración como: Complimentary gym access for two for the length of stay ($12 value per person per day) ¿Qué enfoque general puedo tomar para identificar la palabra gimnasio o acceso al gimnasio?

27 machine-learning  nlp  text-mining  data-cleaning 

Teniendo muchos documentos de texto (en lenguaje natural, no estructurado), ¿cuáles son las posibles formas de anotarlos con algunos metadatos semánticos? Por ejemplo, considere un documento corto: I saw the company's manager last day. Para poder extraer información de él, debe anotarse con datos adicionales para que sea menos ambiguo. …

18 nlp  metadata  data-cleaning  text-mining 

Estoy trabajando en un desafío de Kaggle donde algunas variables están representadas por filas en lugar de columnas (Telstra Network Disruption). Actualmente estoy buscando el equivalente de recolectar (), separar () y difundir (), que se puede encontrar en la herramienta R tidyr.

18 r  python  dataset  data-cleaning  pandas 

Tengo un conjunto de datos como el siguiente. Quiero eliminar todos los caracteres después del carácter ©. ¿Cómo puedo hacer eso en R? data_clean_phrase <- c("Copyright © The Society of Geomagnetism and Earth", "© 2013 Chinese National Committee ") data_clean_df <- as.data.frame(data_clean_phrase)

15 r  data-cleaning 

Me gustaría saber cómo hacer coincidir las direcciones postales cuando su formato difiere o cuando uno de ellos está mal escrito. Hasta ahora he encontrado diferentes soluciones, pero creo que son bastante antiguas y poco eficientes. Estoy seguro de que existen algunos métodos mejores, por lo que si tiene referencias …

14 text-mining  data-cleaning 

Trabajo en una oficina donde SQL Server es la columna vertebral de todo lo que hacemos, desde el procesamiento de datos hasta la limpieza y el mung. Mi colega se especializa en escribir funciones complejas y procedimientos almacenados para procesar metódicamente los datos entrantes para que puedan estandarizarse y ponerse …

14 python  r  data-cleaning  data  sql 

Tengo un marco de datos que, entre otras cosas, contiene una columna de la cantidad de milisegundos pasados ​​desde 1970-1-1. Necesito convertir esta columna de ints en datos de fecha y hora, por lo que finalmente puedo convertirla en una columna de datos de fecha y hora agregando la serie …

13 python  time-series  data-cleaning  pandas 

Entiendo lo que hace Standard Scalar y lo que hace Normalizer, según la documentación de scikit: Normalizer , Standard Scaler . Sé cuándo se aplica el Escalador estándar. ¿Pero en qué escenario se aplica Normalizer? ¿Hay escenarios en los que se prefiere uno sobre el otro?

12 python  scikit-learn  data-cleaning  normalization 

Estoy creando prototipos de una aplicación y necesito un modelo de lenguaje para calcular la perplejidad en algunas oraciones generadas. ¿Hay algún modelo de lenguaje entrenado en Python que pueda usar fácilmente? Algo simple como model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

He estado trabajando en aprendizaje automático y bioinformática durante un tiempo, y hoy tuve una conversación con un colega sobre los principales problemas generales de la minería de datos. Mi colega (que es un experto en aprendizaje automático) dijo que, en su opinión, el aspecto práctico más importante del aprendizaje …

11 machine-learning  data-mining  dataset  data-cleaning  data 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 5 años . Parece que la mayoría de los idiomas tienen cierto número de bibliotecas …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Tengo un marco de datos de pandas (X11) como este: en realidad tengo 99 columnas hasta dx99 dx1 dx2 dx3 dx4 0 25041 40391 5856 0 1 25041 40391 25081 5856 2 25041 40391 42822 0 3 25061 40391 0 0 4 25041 40391 0 5856 5 40391 25002 5856 …

10 python  data-cleaning  pandas  anaconda