Estadísticas y Big Data

Esta pregunta es algo general y de largo aliento, pero por favor tengan paciencia conmigo. En mi aplicación, tengo muchos conjuntos de datos, cada uno con ~ 20,000 puntos de datos con ~ 50 características y una sola variable binaria dependiente. Estoy intentando modelar los conjuntos de datos usando regresión …

12 logistic  residuals 

Si alguien dijera "Ese método utiliza el MLE, la estimación puntual para el parámetro que maximiza , por lo tanto, es frecuentista; y además no es bayesiano".P ( x | θ )P(x|θ)\mathrm{P}(x|\theta) estarías de acuerdo? Actualización sobre los antecedentes : Hace poco leí un artículo que dice ser frecuente. No …

12 bayesian  maximum-likelihood  likelihood  frequentist  philosophical 

Estoy tratando de probar varios enfoques de análisis de datos funcionales. Idealmente, me gustaría probar el panel de enfoques que tengo sobre datos funcionales simulados. Intenté generar FD simulada utilizando un enfoque basado en un ruido gaussiano sumador (código a continuación), pero las curvas resultantes se ven demasiado resistentes en …

12 r  simulation  functional-data-analysis 

He recopilado datos psicofisiológicos que miden la capacidad de los sujetos (dos grupos) para percibir la vibración. Una sonda vibratoria se mueve contra la piel en desplazamientos cada vez más pequeños, y el sujeto indica cuándo sienten la vibración. Desafortunadamente, a altas frecuencias, la sonda solo puede moverse una distancia …

12 nonparametric  psychology 

He usado rjags para ejecutar MCMC en un modelo, especificado en el lenguaje JAGS. ¿Hay una buena manera de extraer ese modelo y realizar predicciones con él (usando las distribuciones posteriores de mis parámetros)? Puedo volver a especificar el modelo en R y conectar los modos de mis parámetros posteriores; …

12 r  jags 

Dado un conjunto de datos: x <- c(4.9958942,5.9730174,9.8642732,11.5609671,10.1178216,6.6279774,9.2441754,9.9419299,13.4710469,6.0601435,8.2095239,7.9456672,12.7039825,7.4197810,9.5928275,8.2267352,2.8314614,11.5653497,6.0828073,11.3926117,10.5403929,14.9751607,11.7647580,8.2867261,10.0291522,7.7132033,6.3337642,14.6066222,11.3436587,11.2717791,10.8818323,8.0320657,6.7354041,9.1871676,13.4381778,7.4353197,8.9210043,10.2010750,11.9442048,11.0081195,4.3369520,13.2562675,15.9945674,8.7528248,14.4948086,14.3577443,6.7438382,9.1434984,15.4599419,13.1424011,7.0481925,7.4823108,10.5743730,6.4166006,11.8225244,8.9388744,10.3698150,10.3965596,13.5226492,16.0069239,6.1139247,11.0838351,9.1659242,7.9896031,10.7282936,14.2666492,13.6478802,10.6248561,15.3834373,11.5096033,14.5806570,10.7648690,5.3407430,7.7535042,7.1942866,9.8867927,12.7413156,10.8127809,8.1726772,8.3965665) .. Me gustaría determinar la distribución de probabilidad más adecuada (gamma, beta, normal, exponencial, poisson, chi-cuadrado, etc.) con una estimación de los parámetros. Ya estoy al tanto de la pregunta en el siguiente enlace, donde se proporciona una solución usando R: /programming/2661402/given-a-set-of-random-numbers-drawn-from-a- …

12 r  matlab  distributions 

Observo los tiempos de procesamiento de un proceso antes y después de un cambio para averiguar si el proceso ha mejorado con el cambio. El proceso ha mejorado si se reduce el tiempo de procesamiento. La distribución del tiempo de procesamiento es de cola gruesa, por lo que la comparación …

12 sampling  nonparametric 

Hace poco leí sobre Bayes empírico (Casella, 1985, Introducción al análisis de datos empíricos de Bayes) y se parecía mucho al modelo de efectos aleatorios; en eso ambos tienen estimaciones reducidas a la media global. Pero no lo he leído completamente ... ¿Alguien tiene alguna idea sobre la similitud y …

12 bayesian  estimation  random-effects-model  steins-phenomenon  empirical-bayes 

El otro día tuve una consulta con un epidemiólogo. Ella es un MD con un título de salud pública en epidemiología y tiene muchos conocimientos estadísticos. Ella asesora a sus compañeros de investigación y residentes y los ayuda con cuestiones estadísticas. Ella entiende las pruebas de hipótesis bastante bien. Tenía …

12 relative-risk  absolute-risk  rare-events 

Nota: esta pregunta es una nueva publicación, ya que mi pregunta anterior tuvo que ser eliminada por razones legales. Al comparar PROC MIXED de SAS con la función lmedel nlmepaquete en R, me topé con algunas diferencias bastante confusas. Más específicamente, los grados de libertad en las diferentes pruebas difieren …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Me gustaría calcular la divergencia jensen-shannon para él después de 3 distribuciones. ¿Es correcto el siguiente cálculo? (Seguí la fórmula JSD de wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) …

12 distance-functions  information-theory 

¿Existe una distribución de solo positivo tal que la diferencia de dos muestras independientes de esta distribución se distribuya normalmente? Si es así, ¿tiene una forma simple?

12 distributions  probability 

¿Por qué incluso tener antecedentes no informativos? No proporcionan información sobre . Entonces, ¿por qué usarlos? ¿Por qué no solo usar previos informativos? Por ejemplo, supongamos que θ ∈ [ 0 , 1 ] . Entonces es θ ~ T ( 0 , 1 ) una previa no informativa para …

12 bayesian  uninformative-prior  jeffreys-prior 

Esta puede ser una pregunta básica, pero me preguntaba ¿por qué un valor en un modelo de regresión puede simplemente cuadrarse para dar una cifra de varianza explicada?RRR Entiendo que el coeficiente puede dar la fuerza de una relación, pero no entiendo cómo simplemente elevar al cuadrado este valor da …

12 regression  correlation  r-squared 

El enfoque tradicional para la selección de variables es encontrar variables que contribuyan más a predecir una nueva respuesta. Recientemente me enteré de una alternativa a esto. En las variables de modelado que determinan el efecto de un tratamiento, como por ejemplo en un ensayo clínico de un producto farmacéutico, …

12 regression  feature-selection