Preguntas etiquetadas con data-cleaning

A menudo trato con datos de encuestas desordenados que requieren mucha limpieza antes de que se puedan realizar estadísticas. Solía ​​hacer esto "manualmente" en Excel, a veces usando fórmulas de Excel, y otras comprobando las entradas una por una. Comencé a hacer cada vez más estas tareas escribiendo guiones para …

16 r  data-cleaning 

¿Cuáles son los métodos más avanzados en deduplicación de registros? La deduplicación también se denomina a veces: vinculación de registros, resolución de entidad, resolución de identidad, fusión / purga. Sé, por ejemplo, sobre CBLOCK [1]. Agradecería que las respuestas también incluyeran referencias al software existente que implementa los métodos. Sé, …

13 clustering  data-cleaning  record-linkage 

Soy asistente de investigación para un laboratorio (voluntario). A mí y a un pequeño grupo se nos ha encomendado el análisis de datos para un conjunto de datos extraídos de un gran estudio. Lamentablemente, los datos se recopilaron con una aplicación en línea de algún tipo, y no se programó …

12 r  excel  data-cleaning 

Un problema común es que ML es de baja calidad de los datos: errores en los valores de las características, instancias mal clasificadas, etc. Una forma de abordar este problema es revisar manualmente los datos y verificarlos, pero ¿existen otras técnicas? (¡Apuesto a que sí!) ¿Cuáles son mejores y por …

10 data-cleaning 

(No tengo una idea real de con qué etiquetar esto porque no soy estadístico y no sé en qué campo se encuentra esto. Siéntase libre de agregar etiquetas más adecuadas). Trabajo para una empresa que produce software de análisis de datos, y necesitamos un conjunto de datos decente para probar …

9 data-cleaning