Estadísticas y Big Data clustering

1

Encontré un tutorial muy útil sobre el algoritmo EM . El ejemplo y la imagen del tutorial es simplemente brillante. Pregunta relacionada sobre el cálculo de probabilidades ¿cómo funciona la maximización de expectativas? Tengo otra pregunta sobre cómo conectar la teoría descrita en el tutorial con el ejemplo. Durante el …

11 machine-learning clustering algorithms natural-language

3

¿Funciona la modularidad de red de Newman para gráficos ponderados y firmados?

La modularidad de un gráfico se define en su página de Wikipedia . En una publicación diferente , alguien explicó que la modularidad se puede calcular fácilmente (y maximizar) para redes ponderadas porque la matriz de adyacencia puede contener lazos valorados. Sin embargo, me gustaría saber si esto también funcionaría …

11 clustering data-visualization networks partitioning modularity

1

¿Cuál es la intuición detrás de la métrica de variación de información (VI) para la validación de clúster?

Para los no estadísticos como yo, es muy difícil captar la idea de la VImétrica (variación de la información) incluso después de leer el documento relevante de Marina Melia " Comparación de agrupamientos: una distancia basada en la información " (Journal of Multivariate Analysis, 2007). De hecho, no estoy familiarizado …

11 r clustering validation intuition

2

¿Cuáles son las distancias entre las variables que forman una matriz de covarianza?

Tengo una matriz de covarianza y quiero dividir las variables en clústeres usando el agrupamiento jerárquico (por ejemplo, para ordenar una matriz de covarianza).kn × nn×nn \times nkkk ¿Existe una función de distancia típica entre variables (es decir, entre columnas / filas de la matriz de covarianza cuadrada)? O si …

11 clustering covariance distance-functions distance

2

¿Cómo encontrar agrupaciones (trayectorias) entre datos longitudinales?

Contexto Quiero establecer la escena antes de ampliar un poco la cuestión. Tengo datos longitudinales, mediciones tomadas en sujetos aproximadamente cada 3 meses, el resultado primario es numérico (como en continuo a 1dp) en el rango de 5 a 14 con el grueso (de todos los puntos de datos) entre …

11 clustering panel-data

4

¿Hay casos en los que no hay una k óptima en k-medias?

Esto ha estado dentro de mi mente durante al menos unas pocas horas. Estaba tratando de encontrar una k óptima para la salida del algoritmo k-means (con una métrica de similitud de coseno ), así que terminé trazando la distorsión en función del número de grupos. Mi conjunto de datos …

11 machine-learning clustering k-means

5

Agrupación de SOM para variables nominales / circulares

Me pregunto si alguien está familiarizado con la agrupación de entradas nominales. He estado buscando en SOM como una solución, pero aparentemente solo funciona con características numéricas. ¿Hay alguna extensión para las características categóricas? Específicamente me preguntaba acerca de 'Días de la semana' como posibles características. Por supuesto, es posible …

11 clustering unsupervised-learning self-organizing-maps

2

Visualización de datos multidimensionales (LSI) en 2D

Estoy usando indexación semántica latente para encontrar similitudes entre documentos (¡ gracias, JMS! ) Después de la reducción de dimensiones, probé la agrupación de k-means para agrupar los documentos en grupos, lo que funciona muy bien. Pero me gustaría ir un poco más lejos y visualizar los documentos como un …

11 data-visualization clustering python multidimensional-scaling

1

R / mgcv: ¿Por qué los productos tensoriales te () y ti () producen superficies diferentes?

El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por qué te(x1, x2)y ti(x1) + ti(x2) …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

3

¿Qué algoritmo debo usar para agrupar un gran conjunto de datos binarios en pocas categorías?

Tengo una matriz grande de datos binarios (650K filas * 62 columnas) (solo 0-1 entradas). La matriz es principalmente escasa: aproximadamente el 8% está lleno. Me gustaría agruparlo en 5 grupos, digamos nombrado del 1 al 5. He intentado el agrupamiento jerárquico y no pude manejar el tamaño. También he …

11 clustering dataset k-means binary-data

1

Asignar pesos a variables en el análisis de conglomerados

Quiero asignar diferentes pesos a las variables en mi análisis de clúster, pero mi programa (Stata) no parece tener una opción para esto, así que necesito hacerlo manualmente. Imagine 4 variables A, B, C, D. Los pesos para esas variables deben ser w(A)=50% w(B)=25% w(C)=10% w(D)=15% Me pregunto si uno …

11 clustering stata

3

Distancia entre dos mezclas gaussianas para evaluar soluciones de clúster

Estoy ejecutando una simulación rápida para comparar diferentes métodos de agrupación, y actualmente me encuentro con un problema tratando de evaluar las soluciones de agrupación. Conozco varias métricas de validación (muchas de ellas se encuentran en cluster.stats () en R), pero supongo que es mejor usarlas si el número estimado …

11 clustering kullback-leibler gaussian-mixture

2

¿Cómo 'inteligente' bin una colección de datos ordenados?

Estoy tratando de agrupar inteligentemente una colección ordenada. Tengo una colección de piezas de datos. Pero sé que estos datos se ajustan a contenedores de tamaños desiguales. No sé cómo elegir inteligentemente los puntos finales para que se ajusten adecuadamente a los datos. por ejemplo:nnnmmm Digamos que tengo 12 elementos …

11 clustering histogram binning

5

Agrupación como un medio de dividir datos para la regresión logística

Estoy tratando de predecir el éxito o el fracaso de los estudiantes en función de algunas características con un modelo de regresión logística. Para mejorar el rendimiento del modelo, ya he pensado en dividir a los estudiantes en diferentes grupos basados en diferencias obvias y construir modelos separados para cada …

11 clustering data-mining logistic

4

¿Cómo se prueba una implementación de k-means?

Descargo de responsabilidad: publiqué esta pregunta en Stackoverflow, pero pensé que quizás esto sea más adecuado para esta plataforma. ¿Cómo prueba su propia implementación de k-means para conjuntos de datos multidimensionales? Estaba pensando en ejecutar una implementación ya existente (es decir, Matlab) en los datos y comparar los resultados con …

11 clustering algorithms

Preguntas etiquetadas con clustering