Estadísticas y Big Data

Tengo datos que se parecen un poco a esto: ID Status 01 A 02 G 03 E ... ... 100 G Entiendes la idea, creo. Tengo estos datos de dos poblaciones separadas (cohortes) y quiero comparar la distribución de la variable de estado en una población con la distribución en …

8 r  hypothesis-testing  categorical-data  chi-squared 

Estoy tratando de entender cuál es la diferencia entre un HMM estándar y un HMM bayesiano. Wikipedia solo menciona brevemente cómo se ve el modelo, pero necesito un tutorial más detallado. ¿Alguien sabe de un documento o una implementación que pueda ver? También tengo problemas con la terminología utilizada. ¿Qué …

8 bayesian  hidden-markov-model 

Estoy buscando construir un modelo predictivo donde la variable de resultado sea binaria y la entrada sea una serie de tiempo. Para hacerlo más concreto, el modelo predecirá si un cliente abandona (dejó la empresa; codificado como 1 o 0) en función de la cantidad que gastó con la empresa …

8 data-mining  data-transformation  dimensionality-reduction  signal-processing 

Estoy trabajando en un proyecto de software que implica crear un visualizador para simulaciones de inundación. Como parte de este proyecto, he creado un gradiente de agua que muestra la profundidad del agua en puntos particulares. Para establecer qué valores representarán qué colores, reviso los datos y obtengo los valores …

8 data-visualization  data-transformation 

Tengo 65 muestras de datos de 21 dimensiones (pegados aquí ) y estoy construyendo la matriz de covarianza a partir de ellos. Cuando se calcula en C ++, obtengo la matriz de covarianza pegada aquí . Y cuando se calcula en matlab a partir de los datos (como se muestra …

8 clustering  matlab  covariance  distance-functions  matrix-inverse 

Estoy usando el lme4paquete en R para hacer algunos modelos logísticos de efectos mixtos. Entiendo que la suma de cada efecto aleatorio debe ser cero. Cuando hago modelos mixtos lineales de juguete usando lmer, los efectos aleatorios generalmente son < confirmando mi creencia de que el But en los modelos …

8 r  lme4-nlme  random-effects-model  glmm 

Quiero estimar los parámetros de los modelos de mezcla de Dirichlet usando el muestreo de Gibbs y tengo algunas preguntas al respecto: ¿Es una mezcla de distribuciones de Dirichlet equivalente a un proceso de Dirichlet? ¿Cuáles son sus principales diferencias si no es así? Además, si quiero estimar los parámetros …

8 bayesian  estimation  gibbs  dirichlet-distribution 

Tengo una pregunta filosófica con respecto al sesgo variable omitido. Tenemos el modelo de regresión típico (modelo de población) donde provienen las muestras , y luego un montón de condiciones por las cuales las estimaciones de OLS se comportan bastante bien.Y=β0+β1X1+...+βnXn+υ,Y=β0+β1X1+...+βnXn+υ, Y= \beta_0 + \beta_1X_1 + ... + \beta_nX_n + …

8 regression  model-selection  assumptions  bias 

Cuando se trata de datos con factores, R puede usarse para calcular las medias para cada grupo con la función lm (). Esto también proporciona los errores estándar para las medias estimadas. Pero este error estándar difiere de lo que obtengo de un cálculo a mano. Aquí hay un ejemplo …

8 r  categorical-data  mean  lm 

Estoy familiarizado con el uso de las ideas de Random Matrix Theory para determinar el número de componentes principales del PCA de una matriz de covarianza / correlación para usar para formar factores. Si el valor propio asociado con la primera PC es grande, significa que los valores propios restantes …

8 correlation  pca  covariance  eigenvalues  random-matrix 

Digamos que quiero predecir si un proyecto será rentable o no. En mis datos de muestra, la variable de respuesta es en realidad una variable continua: el $ beneficio / pérdida del proyecto. Debido a que mi objetivo final es solo una clasificación binaria (proyecto rentable o proyecto no rentable), …

8 regression  classification  predictive-models 

Tengo un problema donde y=a+by=a+by = a + b Observo y, pero ni ni . Quiero estimaraaabbb b=f(x)+ϵb=f(x)+ϵb = f(x) + \epsilon Puedo estimar , usando algún tipo de modelo de regresión. Esto me da . Entonces podría estimaraaab^b^\hat b b^=f(x)+ϵb^=f(x)+ϵ\hat b = f(x) + \epsilon Primer problema: un modelo …

8 missing-data  multiple-imputation  expectation-maximization 

Antecedentes del problema: como parte de mi investigación, he escrito dos algoritmos que pueden seleccionar un conjunto de características de un conjunto de datos (datos de expresión génica de pacientes con cáncer). Estas características luego se prueban para ver qué tan bien pueden clasificar una muestra invisible como cancerosa o …

8 machine-learning  statistical-significance  computational-statistics  standardization  genetic-algorithms 

o: ¿Seleccionar un dominio al ingresar a un trabajo reduce sus opciones futuras para dominios y, por lo tanto, trabajos? Para hacer esta pregunta tan ampliamente aplicable como sea posible ... La profesión se refiere a todo tipo de analistas de datos, desde estadísticos sobre programadores de aprendizaje automático hasta …

8 careers 

Tengo problemas para encontrar una solución con respecto a cómo ejecutar una prueba post-hoc (Tukey HSD) después de un ANOVA de medidas repetidas de 2 factores (ambos dentro de los sujetos) en R. Para el ANOVA, he usado la función aov: summary(aov(dv ~ x1 * x2 + Error(subject/(x1*x2)), data=df1)) Después …

8 r  anova  repeated-measures  post-hoc  tukey-hsd  goodness-of-fit  curve-fitting  sem  latent-variable  mplus  anova  post-hoc  tukey-hsd  markov-process  image-processing  r  time-series  causality  granger-causality  anova  mixed-model  lme4-nlme  random-effects-model  r  matlab  data-transformation  multinomial  notation  estimation  nonparametric  logistic  r  missing-data  multiple-imputation  mice