Estadísticas y Big Data

Recientemente estaba buscando formas de volver a muestrear series temporales, de manera que Preservar aproximadamente la autocorrelación de los procesos de memoria larga. Preservar el dominio de las observaciones (por ejemplo, una serie de enteros de muestras repetidas sigue siendo una serie de enteros). Puede afectar solo algunas escalas, si …

14 time-series  bootstrap  resampling  permutation-test 

Me pregunto si hay una manera simple de detectar valores atípicos. Para uno de mis proyectos, que era básicamente una correlación entre la cantidad de veces que los encuestados participan en actividades físicas en una semana y la cantidad de veces que comen fuera de casa (comida rápida) en una …

14 correlation  outliers 

He leído en otra parte que la elección de una función de activación de capa oculta en un NN debe basarse en la necesidad de uno , es decir, si necesita valores en el rango de -1 a 1, use tanh y sigmoid para el rango de 0 a 1. …

14 machine-learning  classification  neural-networks 

Tengo que lidiar con un problema de clasificación de texto. Un rastreador web rastrea páginas web de un determinado dominio y para cada página web quiero saber si pertenece o no a una clase específica. Es decir, si llamo a esta clase Positiva , cada página web rastreada pertenece a …

14 classification  text-mining  naive-bayes  binary-data 

Tengo un montón de datos de dos muestras (control y tratamiento), cada una con varios miles de valores que se someterán a pruebas de significación en R. Teóricamente, los valores deberían ser continuos, pero debido al redondeo realizado por el software de medición no son t y tienen lazos. Las …

14 r  nonparametric  kolmogorov-smirnov  ties 

Hubo elecciones generales donde vivo ayer y la cadena de televisión comenzó a llamar a los ganadores mucho antes de que se abrieran todas las papeletas. Salieron bien en todas las cuentas, y no estoy realmente sorprendido de que lo hayan hecho. Sé que las estadísticas son absolutamente viables. Aún …

14 elections 

Tengo algunas preguntas sobre el AIC y espero que me puedan ayudar. Apliqué la selección del modelo (hacia atrás o hacia adelante) según el AIC en mis datos. Y algunas de las variables seleccionadas terminaron con valores p> 0.05. Sé que la gente dice que deberíamos seleccionar modelos basados ​​en …

14 model-selection  p-value  aic 

Estoy ejecutando una muestra de Metropolis (C ++) y quiero usar las muestras anteriores para estimar la tasa de convergencia. Un diagnóstico fácil de implementar que encontré es el diagnóstico de Geweke , que calcula la diferencia entre las dos medias de muestra divididas por su error estándar estimado. El …

14 mcmc  diagnostic 

¿Alguien puede ayudarme a comprender los modelos de efectos fijos / aleatorios? Puede explicar a su manera si ha digerido estos conceptos o dirigirme al recurso (libro, notas, sitio web) con una dirección específica (número de página, capítulo, etc.) para que pueda aprenderlos sin ninguna confusión. ¿Es esto cierto: "Tenemos …

14 mixed-model  modeling  random-effects-model  fixed-effects-model 

Necesito estimar la función de densidad basada en un conjunto de observaciones usando el estimador de densidad del núcleo. Basado en el mismo conjunto de observaciones, también necesito estimar la primera y segunda derivadas de la densidad usando las derivadas del estimador de densidad del núcleo. El ancho de banda …

14 r  nonparametric  pdf  kernel-smoothing 

Estoy tratando de trazar un diagrama QQ con dos conjuntos de datos de aproximadamente 1,2 millones de puntos, en R (usando qqplot y alimentando los datos en ggplot2). El cálculo es bastante fácil, pero el gráfico resultante es muy lento de cargar, porque hay muchos puntos. He intentado una aproximación …

14 r  data-visualization  qq-plot 

Tengo una pregunta sobre mi uso de un modelo mixto / lmer. El modelo básico es este: lmer(DV ~ group * condition + (1|pptid), data= df) El grupo y la condición son factores: el grupo tiene dos niveles (grupo A, grupo B) y la condición tiene tres niveles (condición1, condición2, …

14 interaction  interpretation  lme4-nlme  model 

Tengo un conjunto de datos, y x . Me gustaría probar la siguiente hipótesis: hay un pico en y ; es decir, a medida que x aumenta, y primero aumenta y luego disminuye.yyyxxxyyyxxxyyy Mi primera idea fue ajustar y x 2 en una SLR. Es decir, si encuentro que el …

14 regression  statistical-significance  curves 

Me preguntaba qué paquete estadístico de software recomiendan ustedes para realizar la Inferencia Bayesiana. Por ejemplo, sé que puede ejecutar openBUGS o winBUGS como independientes o también puede llamarlos desde R. Pero R también tiene varios de sus propios paquetes (MCMCPack, BACCO) que pueden hacer análisis bayesianos. ¿Alguien tiene alguna …

14 r  probability  bayesian  inference  bugs 

Lectura mgcv::gamde la página de ayuda: los intervalos de confianza / credibilidad están disponibles para cualquier cantidad predicha usando un modelo ajustado Sin embargo, no puedo encontrar una manera de conseguir uno. Pensé predict.gamque tendría un type=confidencey un levelparámetro, pero no lo tiene. ¿Me pueden ayudar en cómo crearlo?

14 r  confidence-interval  gam