Estadísticas y Big Data

Antes de publicar esta pregunta, examiné otras preguntas en esta pila, ¡y esto probablemente será un paseo por el parque para cualquiera que lo lea! Pero la descripción de esta pila incluye análisis y visualización de datos, ¡así que espero que esté en el lugar correcto! </preapology> Estoy usando una …

8 data-visualization  dataset 

Como parte de la reproducción de un modelo que describí parcialmente en esta pregunta sobre Stack Overflow, quiero obtener un diagrama de una distribución posterior. El modelo (espacial) describe el precio de venta de algunas propiedades como una distribución de Bernoulli dependiendo de si la propiedad es cara (1) o …

8 prediction  spatial  posterior  hierarchical-bayesian  pymc 

Digamos que tengo un vector aleatorio Y∼N(Xβ,Σ)Y∼N(Xβ,Σ)Y\sim N(X\beta,\Sigma) y Σ≠σ2IΣ≠σ2I\Sigma\neq\sigma^2 I. Es decir, los elementos deYYY (dado XβXβX\beta) están correlacionados. El estimador natural de ββ\beta es (X′Σ−1X)−1X′Σ−1Y(X′Σ−1X)−1X′Σ−1Y(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}Yy var(β^)=(X′Σ−1X)−1var(β^)=(X′Σ−1X)−1\text{var}(\hat{\beta})=(X'\Sigma^{-1}X)^{-1} En un contexto de diseño, el experimentador puede jugar con el diseño, lo que dará como resultado diferentes XXX y ΣΣ\Sigma por …

8 experiment-design  covariance-matrix  determinant 

Tengo un modelo para lograr estimaciones bayesianas del tamaño de la población y la probabilidad de detección en una distribución binomial basada únicamente en el número observado de objetos observados : para . Por simplicidad, asumimos que N está fijado en el mismo valor desconocido para cada y_i . En …

8 bayesian  mcmc  hierarchical-bayesian  stan 

Tengo problemas para verificar los supuestos de una variable continua en un modelo de riesgos proporcionales. Si una variable fuera un factor con muchos niveles, entonces podría usar la prueba logrank o verificar si las transformaciones log (-log) de las curvas de supervivencia son paralelas. Pero, ¿qué pasa si una …

8 survival  cox-model  assumptions  hazard 

Estoy buscando documentos u otros ejemplos de investigación en los que el análisis estadístico realizado esté al alcance de alguien que haya realizado un curso introductorio de estadísticas. Idealmente, los conjuntos de datos también estarían disponibles en línea. La idea es pasarlos a los estudiantes y ejemplos que puedan seguir …

8 self-study  references 

Estoy tratando de demostrar la siguiente desigualdad: EDITAR: Casi inmediatamente después de publicar esta pregunta, descubrí que la desigualdad que se me pide que pruebe se llama desigualdad de Cantelli. Cuando escribí esto, no me di cuenta de que esta desigualdad en particular tenía un nombre. He encontrado múltiples pruebas …

8 self-study  mathematical-statistics  probability-inequalities  indicator-function 

Si seleccionamos diferentes valores del parámetro , podríamos obtener soluciones con diferentes niveles de dispersión. ¿Significa que la ruta de regularización es cómo seleccionar la coordenada que podría obtener una convergencia más rápida? Estoy un poco confundido, aunque he oído hablar de la escasez a menudo. Además, ¿podría dar una …

8 lasso  regularization 

¿Hay alguna forma metódica de comparar las direcciones, las magnitudes, etc. de los resultados de PCA para diferentes muestras tomadas de la misma población? Dejo la naturaleza de la prueba deliberadamente vaga porque me gustaría escuchar todas las diversas posibilidades ... por ejemplo, podría haber (y estoy especulando aquí) una …

8 hypothesis-testing  pca  variance  inference 

Así que me doy cuenta de que esto se ha preguntado antes: por ejemplo, ¿cuáles son los casos de uso relacionados con el análisis de conglomerados de diferentes métricas de distancia? pero he encontrado que las respuestas son algo contradictorias con lo que se sugiere que debería ser posible en …

8 clustering  k-means  metric 

Estaba leyendo esta pregunta y pensé en simular la cantidad requerida. El problema es el siguiente: si y son estándar normal, ¿qué es ? Entonces quiero simular . (para un valor elegido de )AAABBBE(A2|A+B)E(A2|A+B)E(A^2|A+B)E(A2|A+B)E(A2|A+B)E(A^2|A+B)A+BA+BA+B Intenté el siguiente código para lograr esto: n <- 1000000 x <- 1 # the sum …

8 r  simulation  monte-carlo  conditional-expectation 

Cuando utilizo modelos de regresión, me siento receloso de incumplir un supuesto de asociación lineal; en su lugar, me gusta explorar la forma funcional de las relaciones entre las variables dependientes y explicativas utilizando la regresión de suavizado no paramétrico (por ejemplo , modelos aditivos generalizados , lowess / lowess …

8 cross-validation  nonparametric-regression 

Me he encontrado con el término familia exponencial . Las distribuciones de Bernoulli, Gauss y muchas más pertenecen a esta familia exponencial. ¿Cuáles serían los puntos en común entre ellos?

8 terminology  exponential-family 

Supongamos que es un vector desconocido , y uno observa . Me gustaría calcular los intervalos de confianza en la cantidad aleatoria , basándose solo en el observado y el parámetro conocido . Es decir, para un dado , encuentre modo que .una⃗ una→\vec{a}pagsppsi⃗ ∼ N(una⃗ , I)b→∼N(a→,I)\vec{b} \sim \mathcal{N}\left(\vec{a}, …

8 confidence-interval  multivariate-analysis  chi-squared  non-central 

Primero simulemos algunos datos para una regresión logística con partes fijas y aleatorias: set.seed(1) n <- 100 x <- runif(n) z <- sample(c(0,1), n, replace=TRUE) b <- rnorm(2) beta <- c(0.4, 0.8) X <- model.matrix(~x) Z <- cbind(z, 1-z) eta <- X%*%beta + Z%*%b pr <- 1/(1+exp(-eta)) y <- rbinom(n, …

8 generalized-linear-model  maximum-likelihood  glmm  mixed-model  numerical-integration