Estadísticas y Big Data

¿Cuál es la diferencia entre tener algo estadísticamente significativo (como una diferencia entre dos muestras) y establecer si un grupo de números es independiente o dependiente?

9 statistical-significance  independence 

Tengo un detector que detectará un evento con cierta probabilidad p . Si el detector dice que ocurrió un evento, entonces ese es siempre el caso, por lo que no hay falsos positivos. Después de ejecutarlo durante algún tiempo, me detectan k eventos. Me gustaría calcular cuál fue el número …

9 probability  confidence-interval 

Saludos, Actualmente estoy haciendo lo siguiente en R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Recorte de summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …

9 r  time-series  data-visualization  entropy 

Tengo un modelo de regresión lineal con la muestra y las observaciones variables y quiero saber: Si una variable específica es lo suficientemente significativa como para permanecer incluida en el modelo. Si otra variable (con observaciones) debería incluirse en el modelo. ¿Qué estadísticas me pueden ayudar? ¿Cómo puede obtenerlos de …

9 regression 

¿Cuál es la diferencia entre la investigación de operaciones y el análisis estadístico?

9 operations-research 

Simplificando un poco, tengo aproximadamente un millón de registros que registran el tiempo de entrada y salida de las personas en un sistema que abarca unos diez años. Cada registro tiene una hora de entrada, pero no todos los registros tienen una hora de salida. El tiempo medio en el …

9 survival  missing-data 

Tengo dificultades para seleccionar la forma correcta de visualizar datos. Digamos que tenemos librerías que venden libros , y cada libro tiene al menos una categoría . Para una librería, si contamos todas las categorías de libros, adquirimos un histograma que muestra la cantidad de libros que cae en una …

9 pca  data-visualization  histogram  barplot 

En una respuesta a esta pregunta sobre el tratamiento de datos categóricos como continuos , se mencionó la escala óptima. ¿Cómo funciona este método y cómo se aplica?

9 categorical-data  data-transformation  optimal-scaling 

Proporcionó un tamaño de muestra "N" que planeo usar para pronosticar datos. ¿Cuáles son algunas de las formas de subdividir los datos para que yo use algunos de ellos para establecer un modelo y los datos restantes para validar el modelo? Sé que no hay una respuesta en blanco y …

9 machine-learning  modeling  sample  validation 

He oído que muchas cantidades que ocurren en la naturaleza normalmente se distribuyen. Esto generalmente se justifica usando el teorema del límite central, que dice que cuando promedia un gran número de variables aleatorias iid, obtiene una distribución normal. Entonces, por ejemplo, un rasgo que está determinado por el efecto …

9 data-transformation  normality-assumption 

Como sabe, hay dos tipos populares de validación cruzada, K-fold y submuestreo aleatorio (como se describe en Wikipedia ). Sin embargo, sé que algunos investigadores están haciendo y publicando artículos donde algo que se describe como un CV K-fold es de hecho un submuestreo aleatorio, por lo que en la …

9 machine-learning  cross-validation 

Sé de Microeconometría de Cameron y Trivedi usando Stata. ¿Cuáles son otros buenos textos para aprender Stata?

9 references  stata 

¿Cómo explicaría la visualización de datos y por qué es importante para un lego?

9 data-visualization  intuition 

¿Qué bibliotecas de visualización (diagramas, gráficos, ...) sugeriría usar en una aplicación independiente (Linux, .Net, Windows, lo que sea)? Un rendimiento razonable también sería bueno.

9 data-visualization  software 

Estoy bastante seguro de que entiendo cómo funciona la integración de Monte Carlo, pero no entiendo la formulación de cómo se usa para estimar Pi. Voy por el procedimiento descrito en la 5ta diapositiva de esta presentación http://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdf Entiendo los pasos preliminares. Pi es igual a 4 veces el área …

9 monte-carlo  indicator-function