Estadísticas y Big Data

Tengo dos preguntas relacionadas con el concepto de "consistencia de aprendizaje" para aquellos que están familiarizados con la teoría del aprendizaje estadístico a la Vapnik. Pregunta 1. El proceso de aprendizaje se llama consistente (para la clase de funcionesFF\mathcal{F} y distribución de probabilidad PPP) Si Remp(f∗l)→Pinff∈FR(f),l→∞Remp(fl∗)→Pinff∈FR(f),l→∞ R_{emp}(f^*_l) \buildrel P \over …

9 machine-learning 

Andrew Gelman, en el libro que escribió con Jennifer Hill, declara en el Capítulo 9 (sección 9.3), en la página 177: Solo es apropiado controlar los predictores previos al tratamiento o, más generalmente, los predictores que no se verían afectados por el tratamiento (como la raza o la edad). Este …

9 clinical-trials 

Estoy usando la prueba de dos muestras de Kolmogorov-Smirnov para comparar distribuciones, y noté que un valor se informa con frecuencia como estadística de prueba. ¿Cómo se determina este valor ? Sé que es la probabilidad de obtener un resultado al menos tan grande como el obtenido, pero ¿cómo se …

9 kolmogorov-smirnov 

En la siguiente figura en el lado izquierdo, dos realizaciones de procesos puntuales con diferente densidad (intensidad) y se mezclan haciendo coincidir el centro de las áreas pertenecientes para construir un proceso puntual en el medio con intensidad . Luego, seleccione puntos al azar como dos conjuntos extraídos de él …

9 poisson-distribution  point-process 

Estoy trabajando a mi manera (autoestudio) a través del libro de ET Jaynes Probability Theory - The Logic of Science Problema original El ejercicio 2.1 dice: "¿Es posible encontrar una fórmula general para análoga a [la fórmula ] de las reglas de producto y suma. Si es así, deduzca; si …

9 probability  bayesian  self-study  conditional-probability 

Estoy desarrollando sistemas comerciales automatizados para el mercado de valores. El gran desafío ha sido el sobreajuste. ¿Puede recomendarme algunos recursos que describan métodos para medir y evitar el sobreajuste? Comencé con conjuntos de entrenamiento / validación, pero el conjunto de validación siempre se contamina. Además, los datos de la …

9 time-series  machine-learning  dataset  data-mining  validation 

Acabo de leer que ahora puedes comprar una computadora cuántica (¡aunque hasta ahora solo se ha vendido una!). ¿La computación cuántica tendrá alguna aplicación en estadística? {editar - para los fines de la pregunta, supongamos que eventualmente las computadoras cuánticas (de alguna forma) funcionarán}

9 theory 

Estoy ejecutando una prueba AB en una página que recibe solo 5k visitas por mes. Tomaría demasiado tiempo alcanzar los niveles de tráfico necesarios para medir una diferencia de + -1% entre la prueba y el control. He oído que puedo usar las estadísticas bayesianas para darme una buena oportunidad …

9 bayesian  hypothesis-testing  ab-test 

Suponga que, en un estudio de 15 sujetos, la variable de respuesta (res) se modela con dos variables explicativas, una (nivel) es categórica con 5 niveles y la otra (tiempo de respuesta: RT) es continua. Con lmer en el paquete lme4 de R, tengo: fm1 <- lmer(res ~ level * …

9 mixed-model  lme4-nlme 

La formulación de un modelo matemático para un problema es uno de los aspectos más subjetivos de la estadística, pero también uno de los más importantes. ¿Cuáles son las mejores referencias que abordan este tema crucial pero a menudo ignorado? ¿Y qué estadístico famoso dijo algo como "Deja que los …

9 modeling  references 

Tengo la siguiente serie de tiempo obtenido utilizando los datos publicados a continuación. Para un tamaño de ventana deslizante de 10, estoy tratando de calcular la divergencia KL entre el PMF de los valores dentro de la ventana deslizante actual y el PMF del historial con el objetivo final de …

9 time-series  probability  multivariate-analysis  histogram  kullback-leibler 

Generalmente hay muchas distribuciones conjuntas consistentes con un conjunto conocido de distribuciones marginales .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) De estas distribuciones conjuntas, ¿el producto formado tomando el producto de los marginales el que tiene la mayor entropía?∏ifi(xi)∏ifi(xi)\prod_i f_i(x_i) Ciertamente creo que …

9 distributions  joint-distribution  marginal  maximum-entropy 

Hay dos formas para la distribución Gamma, cada una con diferentes definiciones para los parámetros de forma y escala. En lugar de preguntar cuál es la forma utilizada para la implementación de gsl_ran_gamma , probablemente sea más fácil pedir las definiciones asociadas para la media y la desviación estándar en …

9 gamma-distribution 

He descargado el código GPML Matlab más reciente GPML Matlab code y he leído la documentación y ejecuté la demostración de regresión sin ningún problema. Sin embargo, estoy teniendo dificultades para entender cómo aplicarlo a un problema de regresión al que me enfrento. El problema de regresión se define de …

9 regression  machine-learning  matlab  gaussian-process 

Estoy ejecutando una regresión logística binaria con 3 variables numéricas. Estoy suprimiendo la intersección en mis modelos ya que la probabilidad debería ser cero si todas las variables de entrada son cero. ¿Cuál es el número mínimo de observaciones que debo usar?

9 regression  logistic