Estadísticas y Big Data

Suponga que tiene un conjunto de datos de una distribución continua con densidad compatible con que no se conoce, pero es bastante grande, por lo que la densidad del núcleo (por ejemplo) la estimación, , es bastante precisa. Para una aplicación particular, necesito transformar los datos observados en un número …

11 continuous-data  discrete-data 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado el año pasado . Estoy usando la descomposición vectorial singular en una matriz y obteniendo las matrices U, S y …

11 data-visualization  python  svd 

Esto ha estado dentro de mi mente durante al menos unas pocas horas. Estaba tratando de encontrar una k óptima para la salida del algoritmo k-means (con una métrica de similitud de coseno ), así que terminé trazando la distorsión en función del número de grupos. Mi conjunto de datos …

11 machine-learning  clustering  k-means 

Necesito ajustar una distribución gaussiana generalizada a una nube de puntos de 7 luces que contiene un número bastante significativo de valores atípicos con un alto apalancamiento. ¿Conoces algún buen paquete R para este trabajo?

11 r  distributions  normal-distribution  robust 

Me pregunto si alguien está familiarizado con la agrupación de entradas nominales. He estado buscando en SOM como una solución, pero aparentemente solo funciona con características numéricas. ¿Hay alguna extensión para las características categóricas? Específicamente me preguntaba acerca de 'Días de la semana' como posibles características. Por supuesto, es posible …

11 clustering  unsupervised-learning  self-organizing-maps 

Normalmente trato con datos en los que se miden múltiples individuos cada uno de ellos en 2 o más condiciones. Recientemente he estado jugando con el modelado de efectos mixtos para evaluar la evidencia de diferencias entre condiciones, modeladoindividual como un efecto aleatorio. Para visualizar la incertidumbre con respecto a …

11 confidence-interval  mixed-model  bootstrap  monte-carlo  simulation 

¿Hay alguna manera de que una vez que se construya un árbol de clasificación complejo usando rpart (en R), para organizar las reglas de decisión producidas para cada clase? Entonces, en lugar de obtener un árbol enorme, ¿obtenemos un conjunto de reglas para cada una de las clases? (¿si es …

11 r  classification  cart  rpart 

Como principiante en estadísticas y R, he tenido un momento realmente difícil tratando de generar qqplots con una relación de aspecto de 1: 1. ggplot2 parece ofrecer mucho más control sobre el trazado que los paquetes de trazado R predeterminados, pero no puedo ver cómo hacer un qqplot en ggplot2 …

11 r  distributions  ggplot2  qq-plot 

Es posible que haya escuchado sobre el reciente brote de E. coli enterohemorrágica ( EHEC ) en Alemania . ¿Qué preguntas haría un estadístico sobre el análisis EHEC? Estoy pensando en Q +. Entre reporteros / funcionarios públicos experts no expertos, dicen profesores e ingenieros con un diploma / maestría …

11 data-visualization  teaching 

Enseño un curso introductorio de geografía económica. Para ayudar a mis estudiantes a desarrollar una mejor comprensión de los tipos de países que se encuentran en la economía mundial contemporánea y una apreciación de las técnicas de reducción de datos, quiero construir una tarea que cree una tipología de diferentes …

11 pca  factor-analysis  dimensionality-reduction 

Estoy usando indexación semántica latente para encontrar similitudes entre documentos (¡ gracias, JMS! ) Después de la reducción de dimensiones, probé la agrupación de k-means para agrupar los documentos en grupos, lo que funciona muy bien. Pero me gustaría ir un poco más lejos y visualizar los documentos como un …

11 data-visualization  clustering  python  multidimensional-scaling 

La prueba F clásica para subconjuntos de variables en regresión multilineal tiene la forma dondeSSE(R)es la suma de los errores al cuadrado bajo el modelo 'reducido', que anida dentro del modelo 'grande'B, ydfson los grados de libertad de los dos modelos. Bajo la hipótesis nula de que las variables adicionales …

11 regression  hypothesis-testing  power-analysis  non-central  f-distribution 

Estoy trabajando con algunos conjuntos de datos grandes usando el paquete gbm en R. Tanto mi matriz de predicción como mi vector de respuesta son bastante escasos (es decir, la mayoría de las entradas son cero). Esperaba construir árboles de decisión usando un algoritmo que aprovecha esta escasez, como se …

11 r  regression  machine-learning  classification  cart 

He utilizado una amplia variedad de pruebas para mis datos de tesis, desde ANOVA paramétricos y pruebas t hasta pruebas de Kruskal-Wallis no paramétricas y Mann-Whitneys, así como ANOVA de 2 vías transformados por rango y GzLM con binario, Poisson y datos proporcionales. Ahora necesito informar todo mientras escribo todo …

11 data-visualization  median  error 

¿Cuáles son los beneficios de dar ciertos valores iniciales a las probabilidades de transición en un modelo oculto de Markov? Finalmente, el sistema los aprenderá, entonces, ¿cuál es el punto de dar valores distintos de los aleatorios? ¿El algoritmo subyacente hace una diferencia como Baum-Welch? Si conozco las probabilidades de …

11 machine-learning  expectation-maximization  hidden-markov-model