Estadísticas y Big Data clustering

3

Agrupación de distribuciones de probabilidad: ¿métodos y métricas?

Tengo algunos puntos de datos, cada uno con 5 vectores de resultados discretos aglomerados, los resultados de cada vector generados por una distribución diferente, (el tipo específico del cual no estoy seguro, mi mejor suposición es Weibull, con un parámetro de forma que varía en algún lugar exponencial a la …

13 distributions clustering feature-selection kolmogorov-smirnov k-means

2

¿Cómo calcula la distancia de Gower la diferencia entre las variables binarias?

Tengo 17 variables numéricas y 5 binarias (0-1), con 73 muestras en mi conjunto de datos. Necesito ejecutar un análisis de clúster. Sé que la distancia de Gower es una buena métrica para conjuntos de datos con variables mixtas. Sin embargo, no podía entender cómo la distancia de Gower calcula …

13 clustering distance mixed-type-data

1

k-medias || también conocido como K-Means escalable ++

Bahman Bahmani y col. introdujo k-means ||, que es una versión más rápida de k-means ++. Este algoritmo está tomado de la página 4 de su artículo , Bahmani, B., Moseley, B., Vattani, A., Kumar, R. y Vassilvitskii, S. (2012). Escalable k-significa ++. Actas de la Fundación VLDB , 5 …

12 clustering k-means

5

¿Cómo realizar la imputación de valores en una gran cantidad de puntos de datos?

Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

4

¿Puede comparar diferentes métodos de agrupación en un conjunto de datos sin verdad básica mediante validación cruzada?

Actualmente, estoy tratando de analizar un conjunto de datos de documentos de texto que no tiene ninguna verdad fundamental. Me dijeron que puede usar la validación cruzada k-fold para comparar diferentes métodos de agrupación. Sin embargo, los ejemplos que he visto en el pasado utilizan una verdad fundamental. ¿Hay alguna …

12 machine-learning clustering cross-validation unsupervised-learning

5

¿Puedo usar PCA para hacer una selección de variables para el análisis de conglomerados?

Tengo que reducir la cantidad de variables para realizar un análisis de conglomerados. Mis variables están fuertemente correlacionadas, así que pensé en hacer un análisis factorial PCA (análisis de componentes principales). Sin embargo, si uso las puntuaciones resultantes, mis grupos no son del todo correctos (en comparación con las clasificaciones …

12 clustering pca feature-selection factor-analysis

2

Agrupación de datos espaciales en R

Tengo un conjunto de datos mensuales de temperatura de la superficie del mar (SST) y quiero aplicar alguna metodología de clúster para detectar regiones con patrones de SST similares. Tengo un conjunto de archivos de datos mensuales que se ejecutan desde 1985 hasta 2009 y quiero aplicar el agrupamiento a …

12 r clustering spatial

6

¿Libros o artículos recomendados como introducción al análisis de conglomerados?

Estoy trabajando en un pequeño corpus de texto (200M), que quiero explorar con algunos análisis de conglomerados. ¿Qué libros o artículos sobre ese tema recomendarías?

12 machine-learning references clustering

1

Prueba exacta de Fisher y distribución hipergeométrica

Quería entender mejor la prueba exacta del pescador, así que ideé el siguiente ejemplo de juguete, donde f y m corresponde a machos y hembras, y n e y corresponden a "consumo de refrescos" de esta manera: > soda_gender f m n 0 5 y 5 0 Obviamente, esta es …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Interpretación del resultado de la agrupación de k-medias en R

Estaba usando las kmeansinstrucciones de R para realizar el algoritmo k-means en el conjunto de datos de iris de Anderson. Tengo una pregunta sobre algunos parámetros que obtuve. Los resultados son: Cluster means: Sepal.Length Sepal.Width Petal.Length Petal.Width 1 5.006000 3.428000 1.462000 0.246000 En este caso, ¿qué significa "Cluster significa"? ¿Es …

12 r machine-learning clustering interpretation k-means

1

Método de clúster robusto para datos mixtos en R

Estoy buscando agrupar un pequeño conjunto de datos (64 observaciones de 4 variables de intervalo y una sola variable categórica de tres factores). Ahora, soy bastante nuevo en el análisis de conglomerados, pero soy consciente de que ha habido un progreso considerable desde los días en que el agrupamiento jerárquico …

12 clustering model-based-clustering mixed-type-data

3

¿Cómo puedo probar si mi agrupación de datos binarios es significativa?

Estoy haciendo un análisis del carrito de la compra. Mi conjunto de datos es un conjunto de vectores de transacción, con los artículos que se compran. Al aplicar k-means en las transacciones, siempre obtendré algún resultado. Una matriz aleatoria probablemente también muestre algunos grupos. ¿Hay alguna manera de probar si …

12 clustering statistical-significance binary-data

1

¿Qué hacer cuando la matriz de covarianza de la muestra no es invertible?

Estoy trabajando en algunas técnicas de agrupamiento, donde para un grupo dado de vectores de dimensión d supongo una distribución normal multivariada y calculo el vector medio d-dimensional de la muestra y la matriz de covarianza de la muestra. Luego, cuando trato de decidir si un nuevo vector d-dimensional invisible, …

12 clustering multivariate-analysis covariance covariance-matrix matrix-inverse

2

¿Cómo sé que mi algoritmo de agrupación k-means está sufriendo la maldición de la dimensionalidad?

Creo que el título de esta pregunta lo dice todo.

12 clustering k-means high-dimensional

1

Selección de modelo de Mclust

El paquete R mclustutiliza BIC como criterio para la selección del modelo de clúster. Según tengo entendido, un modelo con el BIC más bajo debe seleccionarse sobre otros modelos (si solo le importa BIC). Sin embargo, cuando los valores BIC son todos negativos, la Mclustfunción adopta el modelo predeterminado con …

11 r clustering gaussian-mixture bic model-based-clustering

Preguntas etiquetadas con clustering