Estadísticas y Big Data

¿Existe un paquete R (o incluso una función R base) que implemente el método de Fisher o Stouffer para combinar valores p? Codificar esto debería ser casi trivial, pero prefiero usar (y citar) un paquete. Código de ejemplo en esta pregunta: Método de Fisher para peinar los valores p: ¿qué …

10 r  combining-p-values 

Estoy probando la independencia en una tabla de contingencia No sé si la prueba G o la prueba de ji cuadrado de Pearson es mejor. El tamaño de la muestra es de cientos, pero hay algunos recuentos bajos de células. Como se indica en la página de Wikipedia , la …

10 chi-squared  p-value  monte-carlo  contingency-tables 

Si corresponde, entre ajustar una línea a múltiples "experimentos" separados y luego promediar los ajustes, o promediar los datos de los experimentos separados y luego ajustar los datos promediados. Déjame elaborar: Realizo simulaciones por computadora que generan una curva, que se muestra a continuación. Extraemos una cantidad, llamémosla "A" ajustando …

10 error  fitting  average 

Estoy interesado en el siguiente tipo de caso: hay 'n' variables aleatorias continuas que deben sumar 1. ¿Cuál sería, entonces, el PDF para cualquier variable individual? Entonces, si n=3n=3n=3 , entonces estoy interesado en la distribución para X1X1+X2+X3X1X1+X2+X3\frac{X_1}{X_1+X_2+X_3} , dondeX1,X2X1,X2X_1, X_2yX3X3 X_3 están todos distribuidos uniformemente. La media, por supuesto, …

10 uniform 

Estoy viendo la función de costo de entropía cruzada que se encuentra en este tutorial : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] ¿Qué estamos resumiendo exactamente? Por supuesto, está sobre xxx , pero yyy y aaa no cambian con xxx . Todas las xxx son entradas en el uno …

10 neural-networks  error-propagation 

Quiero estimar la media de una función f, es decir, dondeEX,Y[f(X,Y)]EX,Y[f(X,Y)]E_{X,Y}[f(X,Y)]XXX e YYY son variables aleatorias independientes. Tengo muestras de f pero no de iid: hay muestras de iid para Y1,Y2,…YnY1,Y2,…YnY_1,Y_2,\dots Y_n y para cada YiYiY_i hay ninin_i muestras de XXX : Xi,1,Xi,2,…,Xi,niXi,1,Xi,2,…,Xi,niX_{i,1},X_{i,2},\dots, X_{i,n_i} Entonces, en total, tengo muestras f(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X_{1,1},Y_1) …

10 variance  unbiased-estimator  estimators 

Me preguntaba dónde hay una fórmula general para relacionar el valor esperado de una variable aleatoria continua en función de los cuantiles del mismo rv. El valor esperado de rv se define como: E ( X ) = ∫ x d F X ( x ) y los cuantiles se …

10 expected-value  quantiles  quantile-regression 

La forma clásica del análisis de componentes principales (PCA) es hacerlo en una matriz de datos de entrada cuyas columnas tienen media cero (entonces PCA puede "maximizar la varianza"). Esto se puede lograr fácilmente centrando las columnas. Sin embargo, cuando la matriz de entrada es escasa, la matriz centrada ahora …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

¿Cuándo es útil la transformación del peso de la evidencia (WOE) de variables categóricas? El ejemplo se puede ver en la transformación de WOE (Así que para una respuesta , y un predictor categórico con categorías, y éxitos de ensayos dentro de la ésimo categoría de este predictor, el AY …

10 logistic  categorical-data  regression-strategies 

Esta pregunta es de la Introducción a las estadísticas matemáticas de Robert Hogg, problema 7.4.9 de la sexta versión en la página 388. Deje ser iid con pdf cero en otro lugar, donde .X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 (a) Encuentre el mle deθ^θ^\hat{\theta}θθ\theta (b) ¿Es una estadística suficiente para ? Por qué ?θ^θ^\hat{\theta}θθ\theta (c) …

10 self-study  maximum-likelihood  order-statistics  sufficient-statistics  umvue 

Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB …

10 cross-validation  random-forest  overfitting  out-of-sample 

En el pasado, me han hecho una serie de preguntas relacionadas con artículos publicados en varias áreas donde se usan regresiones (y modelos relacionados, como modelos de panel o GLM) en datos de observación (es decir, datos no producidos por un experimento controlado , en muchos casos, pero no siempre, …

10 regression  references  instrumental-variables  observational-study 

¿Cuáles son las ventajas de expresar un modelo ARMA como un modelo de espacio de estado y hacer pronósticos usando un filtro de Kalman? Esta metodología se utiliza, por ejemplo, en la implementación de SARIMAX de modelos de estadísticas de pitón: https://github.com/statsmodels/statsmodels/tree/master/statsmodels/tsa/statespace

10 forecasting  arma  kalman-filter  state-space-models  statsmodels 

Estaba leyendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Pero parece que no puedo entender exactamente por qué la fórmula se construyó de la manera en que está. Lo que sí entiendo: iDF debería medir en algún nivel la frecuencia con la que aparece un término S en cada uno de los documentos, disminuyendo su valor …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Estoy construyendo un modelo bayesiano jerárquico bastante complejo para un metanálisis usando R y JAGS. Simplificando un poco, los dos niveles clave del modelo tienen donde es la ésima observación del punto final (en este caso, rendimientos de cultivos modificados genéticamente vs. no modificados genéticamente) en el estudio , es …

10 autocorrelation  multilevel-analysis  mcmc  jags