Estadísticas y Big Data

Estoy tratando de ejecutar una regresión de Cox en un conjunto de datos de 2,000,000 de filas de la siguiente manera usando solo R. Esta es una traducción directa de un PHREG en SAS. La muestra es representativa de la estructura del conjunto de datos original. ## library(survival) ### Replace …

8 r  logistic  survival  sas  cox-model 

Estoy tratando de analizar un conjunto de datos que se origina en sensores ubicados cerca de los zapatos de los jugadores en un partido ( http://www.orgs.ttu.edu/debs2013/index.php?goto=cfchallengedetails ). Decidí mirar el agrupamiento para identificar: Trayectorias similares de jugadores en el partido usando el algoritmo de agrupación TRACLUS Jugadores similares contando algunas …

8 clustering 

En general, tengo curiosidad por saber qué significa el término "principios". Fue utilizado en el título de un manuscrito inédito, "Combinando modelos de computadora en un análisis bayesiano basado en principios". Además, Zhang 2004 dice "Aquí hay varias ventajas para un análisis bayesiano basado en principios": De lo contrario, encuentro …

8 definition 

Tengo un parámetro que se encuentra entre . Digamos que puedo ejecutar un experimento y obtener , donde es un gaussiano estándar. Lo que necesito es una estimación de que es 1) imparcial 2) casi seguramente acotada. El requisito (2) es crucial para mí.θθ\theta[0,1][0,1][0,1]θ^=θ+wθ^=θ+w\hat{\theta} = \theta + wwwwθθ\theta Lo natural …

8 estimation  mathematical-statistics  unbiased-estimator  proof 

¿Es aceptable agrupar datos, calcular la media de los contenedores y luego derivar el coeficiente de correlación de Pearson sobre la base de estos medios? Me parece un procedimiento un tanto sospechoso porque (si considera los datos como una muestra de población) la dispersión de estas medias será el error …

8 correlation  binning 

Permítame hacer una pregunta básica. Entiendo la mecánica de Naive Bayes para variables discretas, y puedo rehacer los cálculos "a mano". (código de HouseVotes84 hasta el final por debajo). Sin embargo, me cuesta ver cómo funcionan los mecanismos para las variables continuas (código de ejemplo a continuación). ¿Cómo calcula el …

8 r  naive-bayes  bayes 

Me interesa saber por qué las observaciones dependientes son un problema en las estadísticas. Supongamos que quiere saber si hay una diferencia en los puntajes promedio de los exámenes entre dos escuelas. Recoges 50 observaciones en cada escuela. Estas 50 observaciones se derivan de 5 aulas diferentes en cada escuela …

8 hypothesis-testing  t-test  independence  non-independent 

Perdón por el título largo, pero mi problema es bastante específico y difícil de explicar en un título. Actualmente estoy aprendiendo sobre el Modelo Roy (análisis del efecto del tratamiento). Hay un paso de derivación en mis diapositivas, que no entiendo. Calculamos el resultado esperado con el tratamiento en el …

8 normal-distribution  causality  bivariate  truncation 

¿Podría alguien explicarme el cambio? Estoy usando el paquete en R, y realmente no entiendo qué significan los diferentes métodos, los pros y los contras de cada uno, y especialmente no entiendo el valor de la penalización. Cuando aumenta el valor de la penalización, ¿qué significa eso y qué hace? …

8 change-point 

Me gustaría hacer análisis de poder para pruebas de hipótesis de (no) igualdad de proporciones en las cuales las proporciones son muy pequeñas. Me gustaría hacerlo sin usar aproximaciones normales (o Poisson) de la distribución binomial. Hay varios tipos generales de preguntas de poder que me gustaría poder abordar. Post-hoc …

8 r  binomial  power-analysis 

Noté que la tarea de regresión en el aprendizaje automático está de alguna manera relacionada con la resolución de ecuaciones diferenciales aproximadamente, ambas están tratando de aproximar una función desconocida. Entonces, mi pregunta es: ¿ML puede ser de alguna manera útil para resolver ecuaciones diferenciales? Gracias de antemano.

8 machine-learning 

Con respecto a las pruebas de hipótesis, la estimación de los tamaños de las muestras se realiza a través del poder, y es intuitivo que al aumentar el mismo tamaño aumenta la precisión de los efectos estimados. Pero, ¿qué pasa con la predicción tanto para la clasificación como para la …

8 classification  sample-size  prediction 

Estoy buscando su ayuda para comprender la diferencia entre dos contrastes diferentes para variables dicotómicas. En esta página: http://www.psychstat.missouristate.edu/multibook/mlt08.htm bajo "Variables de predictores dicotómicos", hay dos formas de codificar predictores dicotómicos: usando el contraste 0,1 o el contraste 1, -1 . Comprendo la distinción aquí (0,1 es una codificación ficticia …

8 multiple-regression  categorical-data  categorical-encoding 

Wikipedia dice Métodos que se basan en una prueba ómnibus antes de proceder a comparaciones múltiples . Típicamente, estos métodos requieren una prueba de rango ANOVA / Tukey significativa antes de proceder a comparaciones múltiples. Estos métodos tienen un control "débil" del error tipo I. también La prueba F en …

8 hypothesis-testing  multiple-comparisons 

Cuando ejecuto este código: require(nlme) a <- matrix(c(1,3,5,7,4,5,6,4,7,8,9)) b <- matrix(c(3,5,6,2,4,6,7,8,7,8,9)) res <- lm(a ~ b) print(summary(res)) res_gls <- gls(a ~ b) print(summary(res_gls)) Obtengo los mismos coeficientes y la misma significación estadística en los coeficientes: Loading required package: nlme Call: lm(formula = a ~ b) Residuals: Min 1Q Median 3Q …

8 r  least-squares  generalized-least-squares