Estadísticas y Big Data

Utilizando el excelente paquete de pronósticos de Rob Hyndman, me encontré con la necesidad no solo de tener intervalos de predicción, sino también de simular una serie de caminos futuros, dadas las observaciones pasadas de una serie temporal con estacionalidades complejas. Hay algo para series de tiempo menos complejas con …

8 r  time-series  forecasting  simulation  tbats 

Tengo una secuencia binaria como 11111011011110101100000000000100101011011111101111100000000000011010100000010000000011101111 Donde los grupos de la mayoría de los 1 son seguidos por un mayor número de ceros, como en la imagen a continuación (el negro representa 1): Me gustaría aplicar una técnica (preferiblemente en R o en Python) donde pueda detectar automáticamente estos grupos …

8 classification  clustering  data-mining  pattern-recognition  binary-data 

Sé que R no es particularmente útil para analizar grandes conjuntos de datos dado que R carga todos los datos en la memoria, mientras que algo como SAS hace análisis secuenciales. Dicho esto, hay paquetes como bigmemory que permiten a los usuarios realizar análisis de datos grandes (análisis estadístico) de …

8 r  sas  large-data 

Problema relacionado con la simulación de semi-informática aquí. Tengo una distribución donde P (x) =(eb−1)eb(n−x)ebn+b−1(eb−1)eb(n−x)ebn+b−1\frac{(e^b-1) e^{b (n-x)}}{e^{b n+b}-1} para algunas constantes byn, yx es un número entero tal que .0≤x≤n0≤x≤n0\leq x \leq n Ahora, necesito probar de esta distribución. Tiene un CDF invertible, por lo que es posible hacer esto …

8 sampling  simulation  monte-carlo 

La media muestral es el estimador de máxima verosimilitud de para una distribución normal . La mediana de la muestra es el estimador de máxima verosimilitud de para una distribución de Laplace (también llamada distribución exponencial doble).μμ\muNormal ( μ , σ)Normal(μ,σ)\text{Normal}(\mu,\sigma)metromm Laplace ( m , s )Laplace(m,s)\text{Laplace}(m,s) ¿Existe una distribución …

8 distributions  maximum-likelihood  trimmed-mean 

¿Existen conceptos o teorías estadísticas sobre cómo medir efectivamente la actualidad en los eventos recientes que tienen más peso que los anteriores? Estoy creando un modelo de regresión logística y me gustaría aplicar un ajuste a varios factores en función de los eventos recientes. ... o, ¿depende exclusivamente de mí …

8 regression  logistic 

He leído que para el SVM del clasificador de margen máximo, después de resolver el problema dual, la mayoría de los multiplicadores de lagrange resultan ser ceros. Solo los que corresponden a los vectores de soporte resultan ser positivos. ¿Porqué es eso?

8 svm  lagrange-multipliers 

Estoy tratando de ajustar un modelo logarítmico lineal a una gran cantidad de variables de los datos de la encuesta. Hay algunas razones por las que podría ser preferible ajustar las regresiones logísticas a esos datos. Varias autoridades sugieren que estos son equivalentes. Sin embargo, tengo algunas razones para dudar …

8 logistic  interaction  log-linear 

El siguiente es un problema de Bayesian Data Analysis 2nd ed , p. 97. Andrew Gelman no ha incluido su solución en la guía de su sitio web y me ha estado volviendo loco todo el día. Literalmente todo el día. Para algunos datos , modelados como una distribución binomial …

8 self-study  bayesian  binomial 

Soy un gran fanático del fútbol y también estoy interesado en el aprendizaje automático. Como proyecto para mi curso de ML, estoy tratando de construir un modelo que prediga la posibilidad de ganar para el equipo local, dados los nombres del equipo local y visitante. (Consulto mi conjunto de datos …

8 regression  machine-learning  predictive-models  neural-networks 

Sabemos que si un estimador es un estimador imparcial de theta y si su varianza tiende a 0 cuando n tiende al infinito, entonces es un estimador consistente para theta. Pero esta es una condición suficiente y no necesaria. Estoy buscando un ejemplo de un estimador que sea consistente pero …

8 probability  variance  mathematical-statistics  unbiased-estimator  consistency 

Intentando replicar los resultados del artículo publicado recientemente, Aghion, Philippe, John Van Reenen y Luigi Zingales. 2013. "Innovación y propiedad institucional". American Economic Review, 103 (1): 277-304. (Los datos y el código de estado están disponibles en http://www.aeaweb.org/aer/data/feb2013/20100973_data.zip ). No tengo problemas para recrear las primeras 5 regresiones en R …

8 r  regression  negative-binomial 

¿Alguien puede explicarme la intuición detrás de la trama dividida? Por lo que entiendo, se trata esencialmente de aleatorización restringida. Pero todavía no lo entiendo del todo. ¿Hay algún recurso o ejemplo que alguien pueda darme para aclararlo?

8 anova  repeated-measures  experiment-design  split-plot 

Estoy tratando de descomponer una serie temporal de observaciones en la estructura de varianza-covarianza y una serie aleatoria .nnnvcvc\bf{\mathrm{v_c}}n×nn×nn \times n∑∑\sumvv\bf{\mathrm{v}} Entonces, puedo derivar la matriz de varianza-covarianza de la función de autocorrelación de . Esta será una matriz de Toeplitz, que es semidefinida positiva. Por lo tanto, puedo calcular …

8 time-series  covariance-matrix 

Tengo una pregunta sobre cómo un estadístico interpretaría normalmente una salida anova. Digamos que tengo salida anova de R. > summary(fitted_data) Call: lm(formula = V1 ~ V2) Residuals: Min 1Q Median 3Q Max -2.74004 -0.33827 0.04062 0.44064 1.22737 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 2.11405 0.32089 6.588 1.3e-09 …

8 r  self-study  anova  interpretation