Estadísticas y Big Data

Estoy ejecutando un par de regresiones y, como quería estar en el lado seguro, decidí usar errores estándar HAC (heteroscedasticidad y autocorrelación consistentes) en todo momento. Puede haber algunos casos en los que la correlación en serie no está presente. ¿Es de todos modos un enfoque válido? ¿Hay algún inconveniente?

8 time-series  least-squares  standard-error  robust  robust-standard-error 

Estoy analizando un conjunto de datos que contiene observaciones de n número de intentos de jugadores en un juego. Si estoy construyendo un modelo de regresión para predecir el resultado de cada intento dado 1 o más descriptores con respecto al intento de cada jugador , ¿cómo mido cuántos intentos …

8 regression  statistical-significance  bayesian  p-value  sequence-analysis 

Acabo de ver esta pregunta y la maravillosa respuesta aceptada en este foro. Luego me activaron para tratar de comprender intuitivamente por qué la división de está normalizando la covarianza:SxSySxSyS_xS_y COV(X,Y)SxSy∈[−1,1]COV⁡(X,Y)SxSy∈[−1,1]\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1] Creo que será útil si entiendo por qué normaliza para ser . Por supuesto, entiendo que, por …

8 correlation  variance  covariance  intuition 

Tengo un modelo que va: Single parameter -> Complex likelihood function -> Log-likelihood. Ejecuté una cadena MCMC (usando pymc) y tracé el rastro del parámetro y la probabilidad logarítmica. La estimación del parámetro terminó siendo razonable, pero el gráfico de probabilidad de registro me parece extraño. La probabilidad de registro …

8 mcmc  likelihood 

Como calentamiento con redes neuronales recurrentes, estoy tratando de predecir una onda sinusoidal a partir de otra onda sinusoidal de otra frecuencia. Mi modelo es un RNN simple, su pase directo se puede expresar de la siguiente manera: rtzt= σ(Wyo n⋅Xt+Wr e c⋅rt - 1) )=Wo u t⋅rtrt=σ(Wyonorte⋅Xt+WrmiC⋅rt-1))zt=Wotut⋅rt \begin{aligned} r_t …

8 regression  time-series  neural-networks  deep-learning  rnn 

Sea f [x] una mezcla de Gauss pdf con n términos de peso uniforme, significa {μ1, . . . ,μnorte}{μ1,...,μn}\{\mu_{1},...,\mu_{n}\}, y las variaciones correspondientes {σ1, . . . ,σnorte}{σ1,...,σn}\{\sigma_{1},...,\sigma_{n}\} : F( x ) ≡1norte∑i = 1norte12 πσ2yo----√mi-( x -μyo)22σ2yof(x)≡1n∑i=1n12πσi2e−(x−μi)22σi2f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}} Parece intuitivo que la probabilidad logarítmica muestreada en los n centros …

8 machine-learning  gaussian-mixture 

La siguiente gráfica muestra la saturación de una carretera contra el impacto en el tiempo de viaje (normalizado a tiempo de viaje de flujo libre). La curva azul (función BPR) presenta un modelo estandarizado utilizado en el campo para relacionar el tiempo de viaje y la saturación. Para los datos …

8 regression  chi-squared  r-squared 

Me preguntaba por qué los errores estándar son (severamente) sesgados hacia abajo cuando se usa la variable instrumental (general) - estimador o el método generalizado de estimador de momentos (gmm).

8 estimation  instrumental-variables  generalized-moments 

¿Por qué usaríamos probabilidades en lugar de probabilidades al realizar una regresión logística?

8 regression  logistic  odds 

Asintóticamente, minimizar el AIC es equivalente a minimizar el MSE de validación cruzada de dejar uno fuera para los datos de sección transversal [ 1 ]. Entonces, cuando tenemos AIC, ¿por qué uno usa el método de dividir los datos en conjuntos de capacitación, validación y prueba para medir las …

8 predictive-models  aic 

Tengo una información que tiene dos comportamientos subyacentes. Primero hay una periodicidad en ello. Parece una curva sinusoidal. En segundo lugar, los puntos de datos tienen un crecimiento constante. Entonces, si tengo 100 puntos de datos sin ningún crecimiento, se verá como una curva sinusoidal. Pero debido a la tasa …

8 time-series  seasonality  trend  fourier-transform 

He leído los excelentes comentarios sobre cómo lidiar con los valores perdidos antes de aplicar SVD, pero me gustaría saber cómo funciona con un ejemplo simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada la matriz anterior, …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

¿Qué significa exactamente "validez de un instrumento"? En mi curso de econometría acabamos de definir la validez del instrumento comoE[Z|u]=0E[Z|u]=0E[Z|u]=0, dónde ZZZ es la variable instrumental y uuues el término de error de un modelo de regresión univariante. Luego, también hablamos sobre la fuerza de un instrumento, pero estoy bastante …

8 econometrics  instrumental-variables 

¿Qué es el sesgo de una distribución? Le pregunto por qué algunos índices particulares parecen indecisos sobre la simetría y, en algunos casos, también sobre la asimetría.

8 interpretation  terminology  skewness  definition 

He comenzado a leer sobre redes neuronales recurrentes (RNN) y memoria a corto plazo (LSTM) ... (... oh, no hay suficientes puntos de representación aquí para enumerar referencias ...) Una cosa que no entiendo: siempre parece que las neuronas en cada instancia de una capa oculta se "conectan completamente" con …

8 machine-learning  neural-networks  backpropagation