Estadísticas y Big Data

Estoy buscando una estimación sólida de la media que tiene una propiedad específica. Tengo un conjunto de elementos para los que quiero calcular esta estadística. Luego, agrego nuevos elementos uno a la vez, y para cada elemento adicional me gustaría volver a calcular la estadística (también conocida como algoritmo en …

9 estimation  mean  robust 

A medida que avanzo en el pronóstico con los modelos ARIMA, estoy tratando de entender cómo puedo mejorar un pronóstico basado en el ajuste ARIMA con la estacionalidad y la deriva. Mis datos son las siguientes series temporales (más de 3 años, con una clara tendencia al alza y una …

9 r  time-series  forecasting  arima  seasonality 

Estoy trabajando en algún software que debería determinar ubicaciones del mundo real (por ejemplo, cámaras de velocidad) a partir de varios informes basados ​​en GPS . Un usuario conducirá al informar una ubicación, por lo tanto, los informes son muy inexactos. Para resolver ese problema, tengo que agrupar los informes …

9 k-means  expectation-maximization  point-estimation 

¿Cuáles son algunas de las pruebas estadísticas bien conocidas para medir la bondad del ajuste de variables aleatorias observadas a una distribución de Poisson? Sé que la prueba de Kolmogorov-Smirnov es una de ellas, ¿hay alguna otra por ahí?

9 probability  poisson-distribution  goodness-of-fit 

Estoy usando Dynamic Time Warping para que coincida con una "consulta" y una curva de "plantilla" y tengo un éxito razonable hasta el momento, pero tengo algunas preguntas básicas: Estoy evaluando una "coincidencia" al evaluar si el resultado de DTW es menor que algún valor umbral que heheurísticamente. ¿Es este …

9 time-series  normalization  functional-data-analysis 

Estoy implementando varios algoritmos para estimar el mejor número de contenedores para usar en histogramas. La mayoría de los que estoy implementando se describen en la página "Histograma" de Wikipedia en la sección " Número de contenedores y ancho " *. Estoy atrapado en un problema con la fórmula de …

9 histogram  binning 

¿Stan (en particular, rstan) tiene instalaciones incorporadas para generar distribuciones posteriores predictivas? No es difícil generar la distribución desde el ajuste estándar, pero prefiero no reinventar la rueda.

9 bayesian  posterior  stan 

(No tengo una idea real de con qué etiquetar esto porque no soy estadístico y no sé en qué campo se encuentra esto. Siéntase libre de agregar etiquetas más adecuadas). Trabajo para una empresa que produce software de análisis de datos, y necesitamos un conjunto de datos decente para probar …

9 data-cleaning 

Tengo un modelo de regresión que se ve así:Y=β0+β1X1+β2X2+β3X3+β12X1X2+β13X1X3+β123X1X2X3Y=β0+β1X1+β2X2+β3X3+β12X1X2+β13X1X3+β123X1X2X3Y = \beta_0+\beta_1X_1 + \beta_2X_2 + \beta_3X_3 +\beta_{12}X_1X_2+\beta_{13}X_1X_3+\beta_{123}X_1X_2X_3 ... o en notación R: y ~ x1 + x2 + x3 + x1:x2 + x1:x3 + x1:x2:x3 Digamos que y son variables categóricas y es numérico. La complicación es que tiene tres niveles …

9 r  contrasts 

¿Alguien sabe un buen método para determinar si la agrupación utilizando kmeans es incluso apropiada? Es decir, ¿qué pasa si su muestra es realmente homogénea? Sé que algo así como un modelo de mezcla (a través de mclust en R) proporcionará estadísticas de ajuste para el caso de clúster 1: …

9 r  clustering  k-means 

Si tuviera que definir las coordenadas y donde( X 2 , Y 2 )(X1,Y1)(X1,Y1)(X_{1},Y_{1})(X2,Y2)(X2,Y2)(X_{2},Y_{2}) X1,X2∼Unif(0,30) and Y1,Y2∼Unif(0,40).X1,X2∼Unif(0,30) and Y1,Y2∼Unif(0,40).X_{1},X_{2} \sim \text{Unif}(0,30)\text{ and }Y_{1},Y_{2} \sim \text{Unif}(0,40). ¿Cómo encontraría el valor esperado de la distancia entre ellos? Estaba pensando, ya que la distancia se calcula por (X1−X2)2+(Y1−Y2)2−−−−−−−−−−−−−−−−−−−√)(X1−X2)2+(Y1−Y2)2)\sqrt{(X_{1}-X_{2})^{2} + (Y_{1}-Y_{2})^{2}}) sería el valor …

9 expected-value  uniform  distance 

Lo que sería un buen libro para estadísticas no paramétricas. No solo la introducción sino el nivel avanzado. También estoy mirando algo que puedo usar para aprender y no como referencia. En particular, estoy buscando un libro que pueda contener conceptos básicos detrás de métodos no paramétricos, inferencia sin parámetros, …

9 nonparametric  references  kolmogorov-smirnov 

Tengo algunos datos que no necesariamente puedo suponer que provienen de distribuciones normales, y me gustaría realizar pruebas de equivalencia entre grupos. Para datos normales, existen técnicas como TOST (dos pruebas t unilaterales). ¿Hay algo análogo a TOST para datos no normales?

9 hypothesis-testing  equivalence  tost 

Una pregunta reciente , una pregunta relacionada y una fuente citada , recientemente me hicieron saber que la corrección para las estimaciones muestrales de la varianza de la población se conoce como corrección de Bessel . Bessel había muerto en 1846 ( cita de Wikipedia ) y la prueba t …

9 distributions  t-test  history 

¿Alguien puede sugerir cómo puedo calcular la función generadora de momentos del producto interno de dos vectores aleatorios gaussianos, cada uno distribuido como , independientes el uno del otro? ¿Hay algún resultado estándar disponible para esto? Cualquier puntero es muy apreciado.N(0,σ2)norte(0 0,σ2)\mathcal N(0,\sigma^2)

9 normal-distribution  mathematical-statistics  multivariate-analysis  moments  mgf