Estadísticas y Big Data clustering

2

Selección de funciones para problemas de agrupamiento

Estoy tratando de agrupar diferentes conjuntos de datos usando algoritmos no supervisados (agrupamiento). El problema es que tengo muchas funciones (~ 500) y una pequeña cantidad de casos (200-300). Hasta ahora solía hacer solo problemas de clasificación para los cuales siempre había etiquetado los datos como conjuntos de entrenamiento. Allí …

9 r clustering feature-selection unsupervised-learning

2

Cómo encontrar pesos para una medida de disimiliaridad

Quiero aprender (deducir) los pesos de los atributos para mi medida de disimilitud que puedo usar para la agrupación. Tengo algunos ejemplos de pares de objetos que son "similares" (deben estar en el mismo grupo), así como algunos ejemplos ( c i , d i ) de pares de objetos …

9 clustering similarities supervised-learning semi-supervised

2

¿Cómo se crea este gráfico de "Estados Unidos de Reddit"?

A continuación se muestra un gráfico de p. 202 del Dataclysm de Christian Rudder , aunque fue realizado por James Dowdell. Ilustra las relaciones entre varios 200 subreddits principales, que son áreas de interés en reddit.com donde los usuarios pueden enviar enlaces, comentarios y votos. Estos son similares a las …

9 clustering data-visualization

2

Agrupando datos ruidosos o con valores atípicos

Tengo datos ruidosos de dos variables como esta. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07) set.seed(1334) yn <- rnorm(20000, 0.5,0.9) set.seed(2344) xn <- rnorm(20000, 0.5,0.9) …

9 r machine-learning clustering

1

Fórmula de inercia de agrupación en scikit learn

Me gustaría codificar una agrupación de kmeans en python usando pandas y scikit learn. Para seleccionar la buena k, me gustaría codificar la estadística Gap de Tibshirani y al 2001 ( pdf ). Me gustaría saber si podría usar el resultado de inercia_ de scikit y adaptar la fórmula estadística …

9 clustering python k-means scikit-learn metric

3

Elección de clústeres para k-means: el caso de 1 clúster

¿Alguien sabe un buen método para determinar si la agrupación utilizando kmeans es incluso apropiada? Es decir, ¿qué pasa si su muestra es realmente homogénea? Sé que algo así como un modelo de mezcla (a través de mclust en R) proporcionará estadísticas de ajuste para el caso de clúster 1: …

9 r clustering k-means

5

¿El preclustering ayuda a construir un mejor modelo predictivo?

Para la tarea de modelado de abandono que estaba considerando: Calcule k grupos para los datos Construya k modelos para cada grupo individualmente. La razón de esto es que no hay nada que demostrar, que la población de subsistemas es homogénea, por lo que es razonable suponer que el proceso …

9 machine-learning clustering data-mining predictive-models

1

¿Cómo comparar los eventos observados con los esperados?

Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

7

Buscando datos artificiales en 2D para demostrar las propiedades de los algoritmos de agrupamiento

Estoy buscando conjuntos de datos de puntos de datos bidimensionales (cada punto de datos es un vector de dos valores (x, y)) siguiendo diferentes distribuciones y formas. El código para generar tales datos también sería útil. Quiero usarlos para trazar / visualizar cómo funcionan algunos algoritmos de agrupación. Aquí hay …

9 distributions data-visualization clustering dataset

4

¿Cómo saber cuantitativamente si los datos 1D se agrupan alrededor de 1 o 3 valores?

Tengo algunos datos sobre el tiempo entre latidos de un humano. Una indicación de latidos ectópicos (extra) es que estos intervalos se agrupan alrededor de tres valores en lugar de uno. ¿Cómo puedo obtener una medida cuantitativa de esto? Estoy buscando comparar múltiples conjuntos de datos, y estos dos histogramas …

9 clustering

5

¿Cuál es la diferencia entre la agrupación de gráficos y los métodos de detección de la comunidad?

Básicamente, el objetivo de la agrupación de gráficos y los métodos de detección de la comunidad es calcular las agrupaciones. ¿Hay alguna diferencia entre ellos?

9 clustering

2

¿Una distancia tiene que ser una "métrica" para que una agrupación jerárquica sea válida en ella?

Digamos que definimos una distancia, que no es una métrica , entre N elementos. En base a esta distancia, usamos un agrupamiento jerárquico aglomerativo . ¿Podemos usar cada uno de los algoritmos conocidos (enlace único / máximo / promedio, etc.) para obtener resultados significativos? O dicho de otra manera, ¿cuál …

9 clustering multilevel-analysis metric hierarchical-clustering

4

Agrupamiento con medidas de distancia asimétricas

¿Cómo agrupa una entidad con una medida de distancia asimétrica? Por ejemplo, supongamos que está agrupando un conjunto de datos con los días de la semana como una característica: la distancia de lunes a viernes no es la misma que la distancia de viernes a lunes. ¿Cómo incorporas esto a …

9 clustering distance

2

Agrupación espacial basada en densidad de aplicaciones con agrupación de ruido (DBSCAN) en R

esta pregunta comenzó como " Agrupación de datos espaciales en R " y ahora se ha movido a la pregunta DBSCAN. Como sugirieron las respuestas a la primera pregunta, busqué información sobre DBSCAN y leí algunos documentos sobre. Han surgido nuevas preguntas. DBSCAN requiere algunos parámetros, uno de ellos es …

9 r clustering spatial

3

Ciclismo en algoritmo k-means

Según wiki, el criterio de convergencia más utilizado es "la asignación no ha cambiado". Me preguntaba si el ciclismo puede ocurrir si usamos ese criterio de convergencia. Me agradaría si alguien señalara una referencia a un artículo que dé un ejemplo de ciclismo o pruebe que esto es imposible.

9 clustering algorithms k-means

Preguntas etiquetadas con clustering