Estadísticas y Big Data

Soy un usuario más familiarizado con R, y he estado tratando de estimar pendientes aleatorias (coeficientes de selección) para aproximadamente 35 individuos durante 5 años para cuatro variables de hábitat. La variable de respuesta es si una ubicación fue "utilizada" (1) o "disponible" (0) hábitat ("uso" a continuación). Estoy usando …

12 r  binomial  sas  random-effects-model  lme4-nlme 

Estoy trabajando en estadísticas para compilaciones de software. Tengo datos para cada compilación en pasar / fallar y el tiempo transcurrido y generamos ~ 200 de estos / semana. La tasa de éxito es fácil de agregar, puedo decir que el 45% pasó cualquier semana. Pero también me gustaría agregar …

12 outliers  robust  average 

Resumen: ¿Existe alguna teoría estadística para apoyar el uso de la distribución (con grados de libertad basados ​​en la desviación residual) para las pruebas de coeficientes de regresión logística, en lugar de la distribución normal estándar?ttt Hace algún tiempo descubrí que al ajustar un modelo de regresión logística en SAS …

12 r  logistic  mathematical-statistics  sas  degrees-of-freedom 

Estoy tratando de entender el paquete de mediación en R, usando la viñeta para el paquete. Estoy luchando por entender el resultado de la mediate()función. require("mediation") require("sandwich") data("framing") med.fit <- lm(emo ~ treat + age + educ + gender + income, data = framing) out.fit <- glm(cong_mesg ~ emo + …

12 r  mediation 

Tengo una pregunta / confusión sobre las series estacionarias requeridas para modelar con ARIMA (X). Estoy pensando en esto más en términos de inferencia (efecto de una intervención), pero me gustaría saber si el pronóstico versus la inferencia hace alguna diferencia en la respuesta. Pregunta: Todos los recursos introductorios que …

12 time-series  econometrics  arima  inference 

A menudo veo personas que hacen que una dimensión / característica de un conjunto de datos sea de media cero al eliminar la media de todos los elementos. ¿Pero nunca entendí por qué hacerlo? ¿Cuál es el efecto de hacer eso como un paso de preprocesamiento? ¿Mejora el rendimiento de …

12 data-mining  dataset 

A menudo he visto conjuntos de datos discretos trazados como gráficos de líneas, pero se me ocurre que la línea infiere un valor en un punto entre los intervalos de medición que no tiene sentido para los conjuntos de datos discretos. ¿Es, por lo tanto, el caso de que el …

12 data-visualization 

Soy asistente de investigación para un laboratorio (voluntario). A mí y a un pequeño grupo se nos ha encomendado el análisis de datos para un conjunto de datos extraídos de un gran estudio. Lamentablemente, los datos se recopilaron con una aplicación en línea de algún tipo, y no se programó …

12 r  excel  data-cleaning 

Aquí se discute la interpretación errónea del supuesto de normalidad en la regresión lineal (que la "normalidad" se refiere a X y / o Y en lugar de los residuos), y el póster pregunta si es posible tener X e Y no distribuidos normalmente y todavía tienen residuos distribuidos normalmente. …

12 regression  normal-distribution  data-transformation  residuals  assumptions 

Supongamos que tenemos variables aleatorias IID con distribución . Vamos a observar una muestra de las 's de la siguiente manera: dejemos que sean variables aleatorias independientes , supongamos que todas las e ' s son independientes y definen el tamaño de la muestra . Los indican cuáles de los …

12 probability-inequalities 

Tenemos dos cohortes de 1000 muestras cada una. Medimos 2 cantidades en cada cohorte. El primero es una variable binaria. El segundo es un número real que sigue una distribución de cola pesada. Queremos evaluar qué cohorte funciona mejor para cada métrica. Hay muchas pruebas estadísticas para elegir: las personas …

12 ab-test 

Sé cómo realizar PCA (análisis de componentes principales), pero me gustaría saber los pasos que deben usarse para el análisis factorial. Para realizar PCA, consideremos algunas matrices , por ejemplo:UNUNA 3 1 -1 2 4 0 4 -2 -5 11 22 20 He calculado su matriz de correlación B = …

12 pca  factor-analysis  algorithms 

Estoy tratando de encontrar la distribución característica más apropiada de datos de mediciones repetidas de cierto tipo. Esencialmente, en mi rama de la geología, a menudo usamos datación radiométrica de minerales de muestras (trozos de roca) para averiguar cuánto tiempo hace que ocurrió un evento (la roca se enfrió por …

12 distributions  normal-distribution  normalization  histogram 

Me preguntaba cómo funcionan los CI de arranque (y BCa en barticular) en los datos distribuidos normalmente. Parece que hay mucho trabajo examinando su rendimiento en varios tipos de distribuciones, pero no pudo encontrar nada en los datos distribuidos normalmente. Como parece algo obvio estudiar primero, supongo que los documentos …

12 confidence-interval  bootstrap  normality-assumption  resampling 

Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf