Estadísticas y Big Data

Tengo datos temporales de frecuencias de actividad. Quiero identificar grupos en los datos que indican distintos períodos de tiempo con niveles de actividad similares. Idealmente, quiero identificar los grupos sin especificar el número de grupos a priori. ¿Cuáles son las técnicas de agrupamiento apropiadas? Si mi pregunta no contiene suficiente …

13 machine-learning  clustering 

Para variables aleatorias , y una matriz semi-definida positiva A : ¿Hay una expresión simplificada para el valor esperado, E [ T r ( X T A X ) ] y la varianza, V a r [ T r ( X T A X ) ] ? Tenga en cuenta …

13 variance  mathematical-statistics  expected-value  random-matrix 

Por lo tanto, esta pregunta es algo complicada, pero he tratado minuciosamente de hacerlo lo más sencillo posible. Objetivo: Para resumir, hay una derivación de la negentropía que no involucra acumulantes de orden superior, y estoy tratando de entender cómo se derivó. Antecedentes: (entiendo todo esto) Estoy estudiando el libro …

13 distributions  probability  pdf  entropy 

Tengo muchos datos y quiero hacer algo que parece muy simple. En este gran conjunto de datos, estoy interesado en cuánto se agrupa un elemento específico. Digamos que mis datos son un conjunto ordenado como este: {A, C, B, D, A, Z, T, C ...}. Digamos que quiero saber si …

13 descriptive-statistics 

"Machine Learning For Hackers" de O'Reilly dice que cada componente principal representa un porcentaje de la variación. He citado la parte relevante de la página a continuación (capítulo 8, p. 207). Hablando con otro experto, acordaron que es el porcentaje. Sin embargo, los 24 componentes suman 133.2095%. ¿Como puede ser? …

13 r  pca 

Tengo los porcentajes de rango de los estudiantes en 38 exámenes como la variable dependiente en mi estudio. Un porcentaje de rango se calcula por (rango / número de estudiantes en un examen). Esta variable dependiente tiene una distribución casi uniforme y quiero estimar los efectos de algunas variables en …

13 regression  distributions 

Entiendo teóricamente (más o menos) cómo funcionarían, pero no estoy seguro de cómo hacerlo utilizando un método de conjunto (como votación, mezclas ponderadas, etc.). ¿Cuáles son buenos recursos para implementar métodos de conjunto? ¿Hay algún recurso en particular con respecto a la implementación en Python? EDITAR: Para aclarar algunos basados …

13 machine-learning  python  ensemble 

¡Los gráficos a continuación son gráficos de dispersión residual de una prueba de regresión para la cual ya se han cumplido los supuestos de "normalidad", "homocedasticidad" e "independencia"! Para probar el supuesto de "linealidad" , aunque, al observar los gráficos, se puede adivinar que la relación es curvilínea, pero la …

13 multiple-regression  linear-model  assumptions  r-squared 

Estoy tratando de ejecutar un logit bayesiano en los datos aquí . Estoy usando bayesglm()el armpaquete en R. La codificación es bastante sencilla: df = read.csv("http://dl.dropbox.com/u/1791181/bayesglm.csv", header=T) library(arm) model = bayesglm(PASS ~ SEX + HIGH, family=binomial(link="logit"), data=df) summary(model) da el siguiente resultado: Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) …

13 r  bayesian  p-value 

Estas dos funciones existen en R pero no sé sus diferencias. Parece que solo devuelven los mismos valores p cuando se llama wilcox.testcon correct=FALSE, y wilcox_test(en el paquete de monedas) con distribution="aymptotic". Para otros valores, devuelven valores p diferentes. También wilcox.testsiempre devuelve W = 0 para mi conjunto de datos, …

13 r  hypothesis-testing  p-value  wilcoxon-mann-whitney 

Mi equipo y yo quisiéramos dar una presentación a los no estadísticos de la compañía sobre la utilidad del diseño de experimentos. Estos no estadísticos también son nuestros clientes y generalmente no nos consultan antes de recopilar sus datos. ¿Conoce algunos ejemplos reales que ilustrarían la famosa cita de Fisher? …

13 experiment-design 

Supongamos que tenemos un conjunto de puntos . Cada punto se genera utilizando la distribución Para obtener posterior para escribimos De acuerdo con el documento de Minka en Expectativa Propagación tenemos cálculos para obtener posterior y, así, se convierte en un problema insoluble para grandes tamaños de muestra . Sin …

13 bayesian  mixture  posterior 

Me encantaría realizar una prueba post-hoc de TukeyHSD después de mi Anova bidireccional con R, obteniendo una tabla que contenga los pares ordenados agrupados por diferencia significativa. (Perdón por la redacción, todavía soy nuevo con las estadísticas). Me gustaría tener algo como esto: Entonces, agrupados con estrellas o letras. ¿Alguna …

13 r  anova  multiple-comparisons  post-hoc  tukey-hsd 

Estoy tratando de modelar algunos datos usando el glmnetpaquete en R. Digamos que tengo los siguientes datos training_x <- data.frame(variable1 = c(1, 2, 3, 2, 3), variable2 = c(1, 2, 3, 4, 5)) y <- c(1, 2, 3, 4, 5) (Esto es una simplificación; mis datos son mucho más complicados). …

13 r  glmnet 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 7 años . Corregir los exámenes es probablemente la tarea más aburrida de un maestro. Pero podría ser divertido …

13 teaching  humor