Estadísticas y Big Data

Tengo un problema de regresión con 5-6k variables. Divido mis datos en 3 conjuntos no superpuestos: capacitación, validación y pruebas. Entreno usando solo el conjunto de entrenamiento y genero muchos modelos de regresión lineal diferentes eligiendo un conjunto diferente de 200 variables para cada modelo (intento aproximadamente 100k de tales …

8 regression  cross-validation  model-selection  r-squared  overfitting 

Esta es una derivación de esta pregunta: ¿Cómo comparar dos grupos con múltiples mediciones para cada individuo con R? En las respuestas allí (si entendí correctamente) aprendí que la varianza dentro del sujeto no afecta las inferencias hechas sobre las medias grupales y que está bien simplemente tomar los promedios …

8 r  confidence-interval  mixed-model  jags  error-propagation 

Tratando de demostrar que esto no pertenece a una familia exponencial. f(y|a)=4(y+a)(1+4a);0&lt;y&lt;1,a&gt;0f(y|a)=4(y+a)(1+4a);0&lt;y&lt;1,a&gt;0f(y|a)=4\frac{(y+a)}{(1+4a)} ; 0 < y < 1 , a>0 Aquí está mi enfoque: f(y|a)=4(y+a)e−log(1+4a)f(y|a)=4(y+a)e−log(1+4a)f(y|a) = 4(y+a)e^{-log(1+4a)} f(y|a)=(4y)(1+ay)e−log(1+4a)f(y|a)=(4y)(1+ay)e−log(1+4a)f(y|a) = (4y)(1+\frac{a}{y})e^{-log(1+4a)} Comparándolo con la forma estándar, h(y)=4yh(y)=4yh(y) = 4y y g(a)g(a)g(a) que tiene que ser una función de solo aaa, no …

8 self-study  pdf  exponential-family 

Sé que es posible cuando realiza una regresión lineal múltiple calcular el intervalo de confianza en el R cuadrado y en el R cuadrado ajustado. ¿Alguien sabe cómo hacerlo con R?

8 r  confidence-interval  r-squared 

Tengo un conjunto de datos que contiene unos cientos de transacciones de tres proveedores que operan en más de 100 países durante un período de tres años. Hemos descubierto que el país de ventas no es un factor significativo en los precios alcanzados (los productos son más o menos productos …

8 r  time-series  multiple-regression 

Por ejemplo, el estadístico de prueba calculado para la prueba ANOVA se compara con una distribución F, mientras que un medio de comparación de prueba t compara el estadístico de prueba con una distribución t.

8 hypothesis-testing  distributions 

Entonces, me parece que la función de pesos en lm da más peso a las observaciones cuanto mayor sea el valor de "peso" de la observación asociada, mientras que la función lme en lme hace exactamente lo contrario. Esto se puede verificar con una simple simulación. #make 3 vectors- c …

8 r  regression  mixed-model  weighted-regression 

Disculpas si esta es una pregunta muy básica. Si tenemos datos que no se distribuyen normalmente (por ejemplo, sesgada, la prueba de Shapiro-Wilk es significativa) y recurrimos a métodos basados ​​en rangos (por ejemplo, la prueba de rangos con signo de Wilcoxon), ¿debemos preocuparnos por los valores atípicos? Imagine, por …

8 outliers  ranks 

Un modelo de "estado del arte" para la distribución de goles marcados en un partido de fútbol es el de Dixon y Robinson (1998) "Un modelo de proceso de nacimiento para partidos de fútbol de asociación" que explica dos fenómenos clave: 1) Se marcan más goles al final de los …

8 monte-carlo  poisson-process 

Considere el siguiente ajuste: fit3a=glmnet(x,g4,family="multinomial",type.multinomial="grouped") ¿Cómo indico qué columnas xson categóricas / multinomiales? ¿Existe una opción para especificar el índice de las variables agrupadas? La documentación describe la opción de la type.multinomialsiguiente manera: Si está "agrupado", se utiliza una penalización de lazo agrupada en los coeficientes multinomiales para una variable. …

8 categorical-data  glmnet 

Tengo dos preguntas, Pregunta 1: ¿Cómo puedo demostrar que la distribución posterior es una distribución beta si la probabilidad es binomial y la anterior es beta? Pregunta 2: ¿Cómo afectan las elecciones los parámetros anteriores a los posteriores? ¿No deberían ser todos iguales? ¿Es posible responder estas preguntas en R?

8 r  self-study  bayesian  prior  posterior 

¿Es posible realizar una selección aproximada de hiperparámetros completamente bayesianos (1) (por ejemplo, escala de covarianza) con el código GPML, en lugar de maximizar la probabilidad marginal (2)? Creo que usar métodos MCMC para resolver las integrales que involucran hiperparámetros antes debería conducir a mejores resultados cuando se trata de …

8 bayesian  model-selection  gaussian-process  hyperparameter 

Tengo datos de encuestas categóricas sobre las actitudes de las personas hacia un área política determinada de 13 países. La variable de respuesta es categórica e incluye 4 respuestas distintas que no se pueden ordenar. Me gustaría construir un modelo multinomial de intersección aleatoria y pendiente aleatoria de varios niveles. …

8 regression  logistic  multinomial 

http://cran.r-project.org/web/packages/quadprog/quadprog.pdf El paquete R quadprogparece ser capaz de resolver el problema de programación cuadrática solo cuando la matrizreDD Es positivo definitivo. Sin embargo, hay un caso cuando la matriz reDDNo es positivo definido. como min (X2+y2- 6 x y)sujeto ax + y3 x + yx , y≤≤≥1 ,1.5 ,0.min(x2+y2−6xy)subject tox+y≤1,3x+y≤1.5,x,y≥0.\begin{eqnarray} …

8 r  optimization 

Necesito un libro de texto matemáticamente riguroso y riguroso sobre análisis e inferencia multivariante para mejorarme. He estado leyendo los Elementos del aprendizaje estadístico y resolviendo los problemas internos, pero necesito un libro con otros enfoques. Temas como distribuciones famosas (Wishart, Wilks lambda, etc.), pruebas de hipótesis, algunas teorías sobre …

8 mathematical-statistics  multivariate-analysis  references