Preguntas etiquetadas con clustering

Tengo un conjunto de datos X que tiene 10 dimensiones, 4 de las cuales son valores discretos. De hecho, esas 4 variables discretas son ordinales, es decir, un valor más alto implica una semántica más alta / mejor. 2 de estas variables discretas son categóricas en el sentido de que …

33 clustering  k-means  discrete-data  continuous-data  gaussian-mixture 

Estoy realizando una agrupación jerárquica en los datos que he recopilado y procesado desde el volcado de datos reddit en Google BigQuery. Mi proceso es el siguiente: Recibe las últimas 1000 publicaciones en / r / política Reúne todos los comentarios Procese los datos y calcule una n x mmatriz …

33 clustering  distance  unsupervised-learning  hierarchical-clustering 

Antecedentes : quiero clasificar las áreas residenciales de una ciudad en grupos en función de sus características socioeconómicas, incluida la densidad de unidades de vivienda, la densidad de población, el área de espacios verdes, el precio de la vivienda, el número de escuelas / centros de salud / guarderías, etc. …

32 clustering  pca  k-means  dimensionality-reduction 

He encontrado una extensa literatura que propone todo tipo de criterios (por ejemplo, Glenn et al. 1985 (pdf) y Jung et al. 2002 (pdf)). Sin embargo, la mayoría de estos no son tan fáciles de implementar (al menos desde mi perspectiva). Estoy usando scipy.cluster.hierarchy para obtener una jerarquía de clústeres, …

32 clustering 

Tengo a mano el siguiente problema: tengo una lista muy larga de palabras, posiblemente nombres, apellidos, etc. Necesito agrupar esta lista de palabras, de modo que palabras similares, por ejemplo palabras con una distancia de edición similar (Levenshtein) aparezcan en el mismo grupo Por ejemplo, "algoritmo" y "alogritmo" deberían tener …

31 clustering  k-means  pattern-recognition 

¿Cuáles son las diferencias en las inferencias que se pueden hacer de un análisis de clase latente (LCA) versus un análisis de conglomerados? ¿Es correcto que un LCA asuma una variable latente subyacente que da lugar a las clases, mientras que el análisis de conglomerados es una descripción empírica de …

30 clustering  latent-variable  latent-class 

Explicaré mi problema con un ejemplo. Suponga que desea predecir el ingreso de un individuo dados algunos atributos: {Edad, Sexo, País, Región, Ciudad}. Tienes un conjunto de datos de entrenamiento como este train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

[El título inicial "Medición de similitud para árboles de agrupamiento jerárquico" fue cambiado más tarde por @ttnphns para reflejar mejor el tema] Estoy realizando una serie de análisis de conglomerados jerárquicos en un marco de datos de registros de pacientes (por ejemplo, similar a http://www.biomedcentral.com/1471-2105/5/126/figure/F1?highres=y ) Estoy experimentando con diferentes …

28 r  clustering  distance-functions  similarities  dendrogram 

Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Me gustaría entender, ¿cuál es la principal diferencia de implementación entre los algoritmos de agrupación de medios k estándar y esféricos? En cada paso, k-means calcula las distancias entre los vectores de elementos y los centroides del grupo, y reasigna el documento a este grupo, cuyo centroide es el más …

28 clustering  data-mining  algorithms  k-means 

Tengo una matriz donde a (i, j) me dice cuántas veces he visto la página j individual. Hay 27K individuos y 95K páginas. Me gustaría tener un puñado de "dimensiones" o "aspectos" en el espacio de páginas que corresponderían a conjuntos de páginas que a menudo se ven juntas. Mi …

28 r  clustering  dimensionality-reduction 

Necesito usar variables binarias (valores 0 y 1) en k-means. Pero k-means solo funciona con variables continuas. Sé que algunas personas todavía usan estas variables binarias en k-means ignorando el hecho de que k-means solo está diseñado para variables continuas. Esto es inaceptable para mí. Preguntas: Entonces, ¿cuál es la …

27 r  clustering  binary-data  k-means  mixed-type-data 

Al realizar la agrupación jerárquica, se pueden usar muchas métricas para medir la distancia entre las agrupaciones. Dos de estas métricas implican el cálculo de los centroides y las medias de los puntos de datos en los grupos. ¿Cuál es la diferencia entre la media y el centroide? ¿No son …

26 clustering  mean 

Estoy investigando varias técnicas utilizadas en la agrupación de documentos y me gustaría aclarar algunas dudas sobre PCA (análisis de componentes principales) y LSA (análisis semántico latente). Lo primero: ¿cuáles son las diferencias entre ellos? Sé que en PCA, la descomposición SVD se aplica a la matriz de covarianza de …

25 clustering  pca  data-mining  svd  lsa 

He hecho un análisis de datos tratando de agrupar datos longitudinales usando R y el paquete kml . Mis datos contienen alrededor de 400 trayectorias individuales (como se llama en el documento). Puedes ver mis resultados en la siguiente imagen: Después de leer el capítulo 2.2 "Elegir un número óptimo …

25 r  clustering  panel-data