Estadísticas y Big Data

Tengo un modelo de predicción probado con cuatro métodos, como puede ver en la figura del diagrama de caja a continuación. El atributo que predice el modelo está en el rango de 0-8. Puede notar que hay un valor atípico de límite superior y tres valores atípicos de límite inferior …

15 regression  machine-learning  multiple-regression  predictive-models  outliers 

Hay mucha literatura que enfatiza el método de maximización de expectativas en los modelos de mezcla (mezcla de Gauss, modelo oculto de Markov, etc.). ¿Por qué EM es importante? EM es solo una forma de hacer optimización y no se usa ampliamente como método basado en gradiente (gradiente decente o …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Sea {Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^n una familia de variables aleatorias iid que toman valores en [0,1][0,1][0,1] , que tienen una media μμ\mu y una varianza σ2σ2\sigma^2 . P ( | ˉ X - μ | > ε ) ≤ σ 2 proporciona un intervalo de confianza simple para la media, usando σσ\sigma siempre …

15 normal-distribution  confidence-interval  references  asymptotics  approximation 

Estoy trabajando en un problema de agrupación de texto. Los datos contienen varias oraciones. ¿Existe un buen algoritmo que alcanza una alta precisión en textos cortos? ¿Puedes proporcionar buenas referencias? Algoritmos como KMeans, el agrupamiento espectral no funciona bien para este problema.

15 machine-learning  clustering  text-mining 

Durante el entrenamiento de un clasificador binario de red neuronal simple obtengo un alto valor de pérdida, usando entropía cruzada. A pesar de esto, el valor de precisión en el conjunto de validación es bastante bueno. ¿Tiene algún significado? ¿No hay una correlación estricta entre pérdida y precisión? Tengo en …

15 neural-networks  accuracy 

Sé que el PCA regular no sigue el modelo probabilístico para los datos observados. Entonces, ¿cuál es la diferencia básica entre PCA y PPCA ? En PPCA, el modelo de variable latente contiene, por ejemplo, variables observadas , latente (variables no observadas x ) y una matriz W que no …

15 pca 

Suponga que ajusta una regresión lineal / logística , con el objetivo de una estimación imparcial de . Está muy seguro de que tanto como son muy positivos en relación con el ruido en sus estimaciones.g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2a1a2a1a2\frac{a_1}{a_2}a1a1a_1a2a2a_2 Si tiene la covarianza conjunta de …

15 regression  regression-coefficients  unbiased-estimator  ratio 

Descenso de gradiente estándar calcularía el gradiente para todo el conjunto de datos de entrenamiento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para un número predefinido de épocas, primero calculamos el vector de gradiente weights_grad de la función de pérdida para …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Los bandidos de brazos múltiples funcionan bien en situaciones en las que tienes opciones y no estás seguro de cuál maximizará tu bienestar. Puede usar el algoritmo para algunas situaciones de la vida real. Como ejemplo, el aprendizaje puede ser un buen campo: Si un niño está aprendiendo carpintería y …

15 algorithms  reinforcement-learning  multiarmed-bandit 

Estoy tratando de usar lme4::glmer() para ajustar un modelo mixto binomial generalizado (GLMM) con una variable dependiente que no es binaria, sino una variable continua entre cero y uno. Uno puede pensar en esta variable como una probabilidad; de hecho, es la probabilidad según lo informado por sujetos humanos (en …

15 r  logistic  mixed-model  glmm  lme4-nlme 

¿Hay alguna distribución para dos variables aleatorias iid donde la distribución conjunta de X - Y es uniforme sobre el soporte [0,1]?X,YX,YX,YX−YX−YX-Y

15 distributions  random-variable 

Considere una caminata aleatoria de 1 dimensión en los enteros con el estado inicial :ZZ\mathbb{Z}x∈Zx∈Zx\in\mathbb{Z} Sn=x+∑i=1nξiSn=x+∑i=1nξi\begin{equation} S_n=x+\sum^n_{i=1}\xi_i \end{equation} donde los incrementos ξiξi\xi_i son IID tales que P{ξi=1}=P{ξi=−1}=12P{ξi=1}=P{ξi=−1}=12P\{\xi_i=1\}=P\{\xi_i=-1\}=\frac{1}{2} . Uno puede probar que (1) Px{Sn reaches +1 eventually}=1Px{Sn reaches +1 eventually}=1\begin{equation} P^x{\{S_n \text{ reaches +1 eventually}\}} = 1 \end{equation} donde el …

15 probability  terminology  stochastic-processes  randomness  random-walk 

Para un problema de inferencia dado, sabemos que un enfoque bayesiano generalmente difiere tanto en la forma como en los resultados de un enfoque fequentista. Los frecuentes (por lo general me incluyen a mí) a menudo señalan que sus métodos no requieren un previo y, por lo tanto, están más …

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Según tengo entendido, la Computación Bayesiana Aproximada (ABC) y la Cadena de Markov Monte Carlo (MCMC) tienen objetivos muy similares. A continuación describo mi comprensión de estos métodos y cómo percibo las diferencias en su aplicación a los datos de la vida real. Computación Bayesiana Aproximada ABC consiste en muestrear …

15 bayesian  mcmc  computational-statistics