Estadísticas y Big Data

Consulte también una pregunta similar sobre estadísticas . Al impulsar algoritmos como AdaBoost y LPBoost , se sabe que los alumnos "débiles" que se combinan solo tienen que rendir mejor que la posibilidad de ser útiles, de Wikipedia: Los clasificadores que utiliza pueden ser débiles (es decir, mostrar una tasa …

28 machine-learning  theory  boosting 

Estoy investigando un método para la verificación automática de los métodos de Monte Carlo de la cadena de Markov, y me gustaría algunos ejemplos de errores que pueden ocurrir al construir o implementar tales algoritmos. Puntos de bonificación si se utilizó el método incorrecto en un artículo publicado. Estoy particularmente …

28 mcmc 

Como ejemplo, considere el ChickWeightconjunto de datos en R. La varianza obviamente crece con el tiempo, así que si uso una regresión lineal simple como: m <- lm(weight ~ Time*Diet, data=ChickWeight) Mis preguntas: ¿Qué aspectos del modelo serán cuestionables? ¿Se limitan los problemas a extrapolar fuera del Timerango? ¿Qué tan …

28 r  regression  heteroscedasticity  assumptions 

Google Prediction API es un servicio en la nube donde el usuario puede enviar algunos datos de entrenamiento para entrenar algún clasificador misterioso y luego pedirle que clasifique los datos entrantes, por ejemplo, para implementar filtros de spam o predecir las preferencias del usuario. ¿Pero qué hay detrás de escena?

28 machine-learning 

¿Cómo se elige un modelo entre los diferentes modelos elegidos por diferentes métodos (por ejemplo, selección hacia atrás o hacia adelante)? Además, ¿qué es un modelo parsimonioso?

28 regression  model-selection 

¿Cómo genero números basados ​​en una distribución discreta arbitraria? Por ejemplo, tengo un conjunto de números que quiero generar. Digamos que están etiquetados de 1-3 de la siguiente manera. 1: 4%, 2: 50%, 3: 46% Básicamente, los porcentajes son probabilidades de que aparezcan en la salida del generador de números …

28 distributions 

¿Hay alguna medida de similitud o distancia entre dos matrices de covarianza simétrica (ambas tienen las mismas dimensiones)? Estoy pensando aquí en análogos a la divergencia KL de dos distribuciones de probabilidad o la distancia euclidiana entre vectores, excepto que se aplica a las matrices. Me imagino que habría bastantes …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Encontré una fórmula para pseudo en el libro Extending the Linear Model with R, Julian J. Faraway (p. 59).R2R2R^2 1 - Desviación residualDesviación nula1-Desviación residualDesviación nula1-\frac{\text{ResidualDeviance}}{\text{NullDeviance}} . ¿Es esta una fórmula común para pseudo para GLM?R2R2R^2

28 r  regression  generalized-linear-model  r-squared 

Utilizo el paquete "boot" para calcular un valor p de arranque de 2 lados aproximado , pero el resultado está demasiado lejos del valor p de usar t.test. No puedo entender qué hice mal en mi código R. ¿Puede alguien darme una pista para esto? time = c(14,18,11,13,18,17,21,9,16,17,14,15, 12,12,14,13,6,18,14,16,10,7,15,10) group=c(rep(1:2, …

28 r  hypothesis-testing  p-value  bootstrap  permutation-test 

Es útil estudiar el código de análisis de datos de expertos. Recientemente he estado examinando github y hay varias personas que comparten código de análisis de datos allí. Esto incluye algunos paquetes R (que por supuesto están disponibles directamente de CRAN), pero también varios ejemplos de investigación reproducible, particularmente usando …

28 r  reproducible-research 

¿Alguna sugerencia para una buena fuente para aprender métodos MCMC?

28 references  mcmc 

¿Cuáles son algunos buenos documentos que describen aplicaciones de estadísticas que serían divertidas e informativas de leer? Para ser claros, en realidad no estoy buscando documentos que describan nuevos métodos estadísticos (por ejemplo, un documento sobre regresión de ángulo mínimo), sino documentos que describan cómo resolver problemas del mundo real. …

28 references  application 

Mira esta imagen: Si extraemos una muestra de la densidad roja, se espera que algunos valores sean inferiores a 0.25, mientras que es imposible generar dicha muestra a partir de la distribución azul. Como consecuencia, la distancia Kullback-Leibler de la densidad roja a la densidad azul es infinita. Sin embargo, …

28 kullback-leibler 

La mayoría de las distribuciones estándar en R tienen una familia de comandos: pdf / pmf, cdf / cmf, cuantil, desviaciones aleatorias (por ejemplo, dnorm, pnorm, qnorm, rnorm). Sé que es bastante fácil utilizar algunos comandos estándar para reproducir estas funciones para las distribuciones uniformes discretas, pero ¿ya existe una …

28 r  distributions  uniform 

Si lo recuerda, cuando comenzó por primera vez con el análisis de series de tiempo. ¿Qué herramientas, paquetes R y recursos de Internet le gustaría saber? Lo que intento preguntar es, ¿dónde debería uno comenzar? Específicamente, ¿hay recursos para R que realmente lo reduzcan para alguien que es "nuevo" en …

28 r  time-series