Estadísticas y Big Data

Si la mejor aproximación lineal (usando mínimos cuadrados) de mis puntos de datos es la línea , ¿cómo puedo calcular el error de aproximación? Si desviación estándar de las diferencias entre observaciones y predicciones , ¿puedo decir luego que un valor real (pero no observado) pertenece al intervalo ( ) …

24 regression  normal-distribution  least-squares  prediction-interval 

Entonces me hicieron una pregunta sobre qué medidas centrales L1 (es decir, lazo) y L2 (es decir, regresión de cresta) estimaron. La respuesta es L1 = mediana y L2 = media. ¿Hay algún tipo de razonamiento intuitivo para esto? ¿O tiene que determinarse algebraicamente? Si es así, ¿cómo hago para …

24 lasso  regularization  loss-functions  ridge-regression 

Tengo dos variables: Nombre del medicamento (DN) y los eventos adversos (AE) correspondientes, que están en una relación de muchos a muchos. Hay 33,556 nombres de medicamentos y 9,516 eventos adversos. El tamaño de la muestra es de aproximadamente 5,8 millones de observaciones. Quiero estudiar y comprender la asociación / …

24 r  categorical-data  data-visualization  large-data  association-measure 

En el análisis de regresión lineal, analizamos valores atípicos, investigamos la multicolinealidad, probamos la heterocedasticidad. La pregunta es: ¿hay alguna orden para aplicarlos? Quiero decir, ¿primero tenemos que analizar los valores atípicos y luego examinar la multicolinealidad? O al revés? ¿Hay alguna regla general sobre esto?

24 regression  multiple-regression  outliers 

El siguiente código evalúa la similitud entre dos series de tiempo: set.seed(10) RandData <- rnorm(8760*2) America <- rep(c('NewYork','Miami'),each=8760) Date = seq(from=as.POSIXct("1991-01-01 00:00"), to=as.POSIXct("1991-12-31 23:00"), length=8760) DatNew <- data.frame(Loc = America, Doy = as.numeric(format(Date,format = "%j")), Tod = as.numeric(format(Date,format = "%H")), Temp = RandData, DecTime = rep(seq(1, length(RandData)/2) / (length(RandData)/2), 2)) …

24 r  time-series  data-visualization  gam 

¿Cuál es la diferencia de estadística matemática y estadística? He leido esto : La estadística es el estudio de la recopilación, organización, análisis e interpretación de datos. Se ocupa de todos los aspectos de esto, incluida la planificación de la recopilación de datos en términos del diseño de encuestas y …

24 mathematical-statistics  terminology 

¿Cuál es la forma / método más fácil para calcular la correlación entre dos series de tiempo que son exactamente del mismo tamaño? Pensé en multiplicar y , y sumar la multiplicación. Entonces, si este número único fue positivo, ¿podemos decir que estas dos series están correlacionadas? Sin embargo, puedo …

24 time-series 

Estoy revisando un artículo que tiene el siguiente experimento biológico. Se usa un dispositivo para exponer las células a cantidades variables de tensión de corte de fluido. A medida que se aplica un mayor esfuerzo cortante a las células, más de ellas comienzan a desprenderse del sustrato. En cada nivel …

24 r  logistic  multinomial 

Estoy buscando una referencia al documento donde se introdujo la validación cruzada k-fold (en lugar de solo una buena referencia académica para el tema). Quizás esté demasiado atrás en la bruma del tiempo para identificar inequívocamente el primer artículo, por lo que cualquier documento inicial en el que se utilizó …

24 cross-validation  references 

Actualmente estoy en un proyecto donde básicamente necesito, como todos lo hacemos, comprender cómo se relaciona la salida con la entrada . La particularidad aquí es que los datos son proporcionados de una en una, por lo que quiero actualizar mi análisis cada vez que recibo un nuevo . Creo …

24 modeling  model-selection 

Muchos estudios clínicos se basan en muestras no aleatorias. Sin embargo, la mayoría de las pruebas estándar (por ejemplo, pruebas t, ANOVA, regresión lineal, regresión logística) se basan en el supuesto de que las muestras contienen "números aleatorios". ¿Son válidos los resultados si estas muestras no aleatorias se analizaron mediante …

24 sampling  randomness 

¿Existe una relación entre la regresión y el análisis discriminante lineal (LDA)? ¿Cuáles son sus similitudes y diferencias? ¿Hay alguna diferencia si hay dos clases o más de dos clases?

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

Estoy usando una prueba ranksum para comparar la media de dos muestras ( ) y han encontrado que son significativamente diferentes con: . ¿Debería sospechar de un valor tan pequeño o debería atribuirlo al alto poder estadístico asociado con tener una muestra muy grande? ¿Existe algo como un valor sospechosamente …

24 hypothesis-testing  p-value  sample-size  power 

Estoy tratando de pasar de usar el ezpaquete a lmeANOVA para medidas repetidas (ya que espero poder usar contrastes personalizados con lme). Siguiendo el consejo de esta publicación de blog , pude configurar el mismo modelo usando ambos aov(como lo hace ez, cuando se solicitó) y lme. Sin embargo, mientras …

24 r  anova  mixed-model  repeated-measures  lme4-nlme 

Nota: estoy publicando una pregunta de un ex alumno mío que no puede publicar por su cuenta por razones técnicas. Dada una muestra de iid de una distribución de Weibull con pdf ¿hay una representación variable faltante útil y, por lo tanto, un algoritmo EM (expectativa-maximización) asociado que podría usarse …

24 optimization  missing-data  expectation-maximization  weibull  gumbel