Estadísticas y Big Data

Hoy estaba leyendo el blog de Christian Robert y me gustó bastante el nuevo algoritmo Metropolis-Hastings que estaba discutiendo. Parecía simple y fácil de implementar. Cada vez que codifico MCMC, tiendo a mantener algoritmos MH muy básicos, como movimientos independientes o caminatas aleatorias en la escala de registro. ¿Qué algoritmos …

20 mcmc  metropolis-hastings 

En mis intentos de luchar contra el caos de las hojas de cálculo, a menudo soy evangélico al presionar por herramientas más robustas, como un verdadero software de estadísticas (R, Stata y similares). Recientemente, fui desafiado en esta opinión por alguien que declaró rotundamente que simplemente no aprenderán a programar. …

20 data-visualization  software 

La lógica de la imputación múltiple (MI) es imputar los valores faltantes no una vez sino varias (típicamente M = 5) veces, lo que resulta en M conjuntos de datos completados. Los M conjuntos de datos completados se analizan luego con métodos de datos completos sobre los cuales se combinan …

20 modeling  confidence-interval  mixed-model  data-imputation 

En el problema clásico de Coupon Collector , es bien sabido que el tiempo necesario para completar un conjunto de cupones elegidos al azar satisface , y .TTTnnnE[T]∼nlnnE[T]∼nln⁡nE[T] \sim n \ln n Var(T)∼n2Var(T)∼n2Var(T) \sim n^2Pr(T&gt;nlnn+cn)&lt;e−cPr(T&gt;nln⁡n+cn)&lt;e−c\Pr(T > n \ln n + cn) < e^{-c} Este límite superior es mejor que el …

20 probability  probability-inequalities  coupon-collector-problem 

Estoy realizando experimentos para un artículo y estoy buscando un libro / sitio web interesante para comprender correctamente cómo funcionan ANOVA y ANCOVA. Tengo buenos conocimientos matemáticos, así que no necesariamente necesito una explicación vulgar. También me gustaría saber cómo determinar cuándo usar ANOVA en lugar de ANCOVA.

20 anova  references  ancova 

El truco del kernel se usa en varios modelos de aprendizaje automático (por ejemplo, SVM ). Se introdujo por primera vez en el documento "Fundamentos teóricos del método de función potencial en el aprendizaje de reconocimiento de patrones" en 1964. La definición de Wikipedia dice que es un método para …

20 machine-learning  kernel-trick 

No soy un experto en bosques aleatorios, pero entiendo claramente que el problema clave con los bosques aleatorios es la generación de árboles (aleatorios). ¿Me puede explicar cómo se generan los árboles? (es decir, ¿cuál es la distribución utilizada para la generación de árboles?) Gracias por adelantado !

20 machine-learning  r  algorithms  cart  random-forest 

Una pregunta que me molestó por algún tiempo, que no sé cómo abordar: Todos los días, mi meteorólogo da un porcentaje de probabilidad de lluvia (supongamos que se calcula a 9000 dígitos y nunca ha repetido un número). Cada día posterior, llueve o no llueve. Tengo años de datos: posibilidad …

20 hypothesis-testing  forecasting 

La precisión se define como: p = true positives / (true positives + false positives) ¿Es cierto que, como true positivesy false positivesenfoque 0, la precisión se aproxima a 1? La misma pregunta para recordar: r = true positives / (true positives + false negatives) Actualmente estoy implementando una prueba …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Escuché que cuando muchas especificaciones del modelo de regresión (por ejemplo, en OLS) se consideran posibilidades para un conjunto de datos, esto causa múltiples problemas de comparación y los valores p y los intervalos de confianza ya no son confiables. Un ejemplo extremo de esto es la regresión gradual. ¿Cuándo …

20 regression  frequentist  multiple-comparisons 

¿Cuál es el método preferido para realizar post-hocs para pruebas dentro de las asignaturas? He visto trabajos publicados en los que se emplea el HSD de Tukey, pero una revisión de Keppel y Maxwell &amp; Delaney sugiere que la probable violación de la esfericidad en estos diseños hace que el …

20 r  repeated-measures  multiple-comparisons  post-hoc  sphericity 

Entiendo que la diferencia entre ellos está relacionada con si la variable de agrupación en el modelo se estima como un efecto fijo o aleatorio, pero no me queda claro por qué no son iguales (si no son iguales). Estoy específicamente interesado en cómo funciona esto cuando se usa la …

20 mixed-model  blue  blup  small-area-estimation 

He estado trabajando con algunos datos que tienen algunos problemas con las mediciones repetidas. Al hacerlo, noté un comportamiento muy diferente entre lme()y lmer()usando mis datos de prueba y quiero saber por qué. El conjunto de datos falsos que creé tiene medidas de altura y peso para 10 sujetos, tomados …

20 r  mixed-model  lme4-nlme 

En un entorno donde se observa distribuido desde una distribución con densidad , me pregunto si hay un estimador imparcial (basado en 's) de la distancia de Hellinger a otra distribución con densidad , a saber, X1,…,XnX1,…,XnX_1,\ldots,X_nfffXiXiX_if0f0f_0H(f,f0)={1−∫Xf(x)f0(x)−−−−−−−−√dx}1/2.H(f,f0)={1−∫Xf(x)f0(x)dx}1/2. \mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.

20 pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger 

¿Existe una diferencia conceptual o de procedimiento entre ajustar un modelo a datos y ajustar datos a modelos? Se puede ver un ejemplo de la primera redacción en https://courses.washington.edu/matlab1/ModelFitting.html , y de la segunda en https://reference.wolfram.com/applications/eda/FittingDataToLinearModelsByLeast-SquaresTechniques.html .

20 terminology