Estadísticas y Big Data

Recientemente reclamé con valentía frente a un grupo de estudiantes de octavo grado bastante inteligentes que la astronomía contribuyó en gran medida a los fundamentos de las estadísticas y muchos conceptos estadísticos fueron inventados para su uso en astronomía. Sin embargo, buscando respaldar eso, estaba bastante decepcionado. Los errores, la …

9 history  astronomy 

Estoy tratando de entender cómo obtener los valores para la prueba unilateral de Kolmogorov-Smirnov , y estoy luchando por encontrar CDF para y en el caso de dos muestras. Lo siguiente se cita en algunos lugares como el CDF para en un caso de una muestra:pppD+n1,n2Dn1,n2+D^{+}_{n_{1},n_{2}}D−n1,n2Dn1,n2−D^{-}_{n_{1},n_{2}}D+nDn+D^{+}_{n} p+n(x)=P(D+n≥x|H0)=x∑j=0⌊n(1−x)⌋(nj)(jn+x)j−1(1−x−jn)n−jpn+(x)=P(Dn+≥x|H0)=x∑j=0⌊n(1−x)⌋(nj)(jn+x)j−1(1−x−jn)n−jp^{+}_{n}\left(x\right) = \text{P}\left(D^{+}_{n} \ge …

9 self-study  kolmogorov-smirnov  cdf 

Actualmente estoy leyendo sobre suposiciones para las correlaciones de Pearson. Una suposición importante para la prueba t resultante parece ser que ambas variables provienen de distribuciones normales; si no lo hacen, se recomienda el uso de medidas alternativas como el Spearman rho. La correlación de Spearman se calcula como la …

9 correlation  normality-assumption  spearman-rho  ranks 

Estoy interesado en estimar una razón de riesgo ajustada, análoga a cómo se estima una razón de probabilidad ajustada usando regresión logística. Parte de la literatura (p. Ej., Esto ) indica que usar la regresión de Poisson con los errores estándar de Huber-White es una forma basada en el modelo …

9 r  references  biostatistics  poisson-regression  relative-risk 

Los resultados asintóticos no pueden ser probados por simulación por computadora, porque son declaraciones que involucran el concepto de infinito. Pero deberíamos poder tener la sensación de que las cosas realmente marchan como la teoría nos lo dice. Considere el resultado teórico limn → ∞PAG( | XnorteEl | >ϵ)=0,ϵ > …

9 mathematical-statistics  simulation  convergence  asymptotics 

Me gustaría realizar una combinación de sobremuestreo y submuestreo para equilibrar mi conjunto de datos con aproximadamente 4000 clientes divididos en dos grupos, donde uno de los grupos tiene una proporción de aproximadamente el 15%. He examinado SMOTE ( http://www.inside-r.org/packages/cran/DMwR/docs/SMOTE ) y ROSE ( http://cran.r-project.org/web/packages/ROSE/ ROSE.pdf ), pero ambos crean …

9 unbalanced-classes  resampling  oversampling 

Estoy trabajando en la validación cruzada de la predicción de mis datos con 200 sujetos y 1000 variables. Estoy interesado en la regresión de crestas ya que el número de variables (que quiero usar) es mayor que el número de muestra. Entonces quiero usar estimadores de contracción. Los siguientes son …

9 r  cross-validation  prediction  ridge-regression 

Digamos que tengo un conjunto de datos con puntajes en un montón de ítems del cuestionario, que en teoría están compuestos por un número menor de escalas, como en la investigación de psicología. Sé que un enfoque común aquí es verificar la confiabilidad de las escalas utilizando el alfa de …

9 factor-analysis  reliability  psychometrics  cronbachs-alpha  scale-construction 

Me doy cuenta de que hay 3 parámetros de ajuste en el modelo de árboles de refuerzo, es decir El número de árboles (número de iteraciones) parámetro de contracción Número de divisiones (tamaño de cada árbol constituyente) Mi pregunta es: para cada uno de los parámetros de ajuste, ¿cómo debo …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

Estoy ajustando un glmermodelo en el lme4paquete R. Estoy buscando una tabla anova con el valor p que se muestra allí, pero no puedo encontrar ningún paquete que se ajuste a ella. ¿Es posible hacerlo en R? El modelo que estoy ajustando es de la forma: model1<-glmer(dmn~period*teethTreated+(1|fullName), family="poisson", data=subset(dataset, group=='Four …

9 r  anova  lme4-nlme  mixed-model 

Las subvenciones a menudo requieren un análisis de potencia para admitir un tamaño de muestra propuesto. En proteómica (y la mayoría de los ómics), hay de 100 a 1000 de características / variables medidas en 10 de las muestras (tal vez 100, pero poco probable). Además, se sabe que algunas …

9 nonparametric  power-analysis 

Tengo una pregunta sobre cómo modelar texto sobre datos de conteo, en particular cómo podría usar la lassotécnica para reducir las características. Digamos que tengo N artículos en línea y el recuento de páginas vistas para cada artículo. Extraje 1 gramo y 2 gramos para cada artículo y quería ejecutar …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized 

Tengo problemas para interpretar los gráficos de interacción cuando hay una interacción entre las dos variables independientes. Los siguientes gráficos son de este sitio: Aquí, y son las variables independientes y es la variable dependiente.B D VUNAAAsiBBD VDVDV Pregunta: Hay interacción y efecto principal de , pero no hay efecto …

9 data-visualization  interaction  interpretation 

La pregunta lo dice todo. He leído que no se puede generalizar KS a una dimensión igual o mayor que dos , y que las implementaciones famosas como esa en Numerical Recipes son simplemente incorrectas. ¿Podría explicar por qué es así?

9 kolmogorov-smirnov  bivariate  ecdf 

Tengo un conjunto de datos de alrededor de 5000 características. Para esos datos, utilicé por primera vez la prueba Chi Square para la selección de funciones; después de eso, obtuve alrededor de 1500 variables que mostraron una relación significativa con la variable de respuesta. Ahora necesito ajustar la regresión logística …

9 r  logistic  generalized-linear-model  modeling  regression-strategies