Estadísticas y Big Data

Actualmente estoy aprendiendo modelos bayesianos jerárquicos usando JAGS de R, y también pymc usando Python ( "Métodos Bayesianos para Hackers" ). Puedo entender algo de esta publicación : "terminarás con una pila de números que parece" como si "hubieras logrado tomar muestras independientes de la complicada distribución que querías saber". …

9 bayesian  mcmc  expectation-maximization 

Probablemente tengo una pregunta tonta sobre la cual, debo confesar, estoy confundido. Imagine la generación repetida de una matriz ortogonal aleatoria (ortonormal) distribuida uniformemente de algún tamaño . Algunas veces la matriz generada tiene determinante y otras veces tiene determinante . (Solo hay dos valores posibles. Desde el punto de …

9 mathematical-statistics  matrix  random-generation  rotation  determinant 

En un comentario aquí , @gung escribió: Creo que pueden superponerse un poco (tal vez ~ 25%) y seguir siendo significativas al nivel del 5%. Recuerde que el IC del 95% que ve es para el OR individual, pero la prueba de 2 OR es sobre la diferencia entre ellos. …

9 logistic  confidence-interval  odds-ratio  references 

Sé que OLS es imparcial pero no eficiente bajo heteroscedasticidad en una configuración de regresión lineal. En Wikipedia http://en.wikipedia.org/wiki/Minimum_mean_square_error El estimador MMSE es asintóticamente imparcial y converge en distribución a la distribución normal: , donde I (x) es la información de Fisher de x. Por lo tanto, el estimador MMSE …

9 least-squares  heteroscedasticity  efficiency 

Estoy estudiando el modelo de mezcla gaussiana y se me ocurre esta pregunta. Supongamos que los datos subyacentes se generan a partir de una mezcla de distribución Gaussiana y cada uno de ellos tiene un vector medio , donde y cada uno de ellos tiene el mismo coeficiente matriz de …

9 self-study  expectation-maximization  gaussian-mixture  consistency 

Intento predecir un puntaje de equilibrio y probé varios métodos de regresión diferentes. Una cosa que noté es que los valores predichos parecen tener algún tipo de límite superior. Es decir, el saldo real está en , pero mis predicciones alcanzan alrededor de 0.8 . La siguiente gráfica muestra el …

9 regression  distributions  data-transformation  prediction  bounds 

Voy a enseñar estadística como asistente de enseñanza durante la segunda mitad de este semestre a estudiantes de pregrado orientados a CS. La mayoría de los estudiantes que tomaron la clase no tienen ningún incentivo para aprender la materia y solo la tomaron para requisitos mayores. Quiero que el tema …

9 hypothesis-testing  confidence-interval  teaching 

Estoy tratando de entender mejor los campos receptivos de CNN. Para hacerlo, me gustaría calcular el campo receptivo de cada neurona en LeNet. Para un MLP normal es bastante fácil (ver http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), pero es más difícil calcular el campo receptivo de una neurona en una capa que sigue una …

9 deep-learning  conv-neural-network 

La pérdida de L2, junto con la pérdida de L0 y L1, son tres funciones de pérdida "por defecto" muy comunes que se utilizan al resumir una pérdida posterior posterior mínima esperada. Una razón para esto es quizás que son relativamente fáciles de calcular (al menos para distribuciones 1d), L0 …

9 bayes  teaching  decision-theory  loss-functions 

Aquí hay un problema que surgió en un examen semestral en nuestra universidad hace unos años y que estoy luchando por resolver. Si son variables aleatorias independientes con densidades y respectivamente, entonces demuestre que sigue a .X1, X2X1,X2X_1,X_2ββ\betaβ( n1, n2)β(norte1,norte2)\beta(n_1,n_2)β( n1+ 12, n2)β(norte1+12,norte2)\beta(n_1+\dfrac{1}{2},n_2)X1X2-----√X1X2\sqrt{X_1X_2}β( 2 n1, 2 n2)β(2norte1,2norte2)\beta(2n_1,2n_2) Utilicé el método …

9 self-study  random-variable  beta-distribution  distributions  jacobian 

Tengo un conjunto de datos de una encuesta de clientes, quiero implementar una prueba estadística para ver si hay una diferencia significativa entre el producto 1 y el producto 2. Aquí hay un conjunto de datos de las reseñas de los clientes. La tasa es de muy mala, mala, buena, …

9 statistical-significance  categorical-data  repeated-measures  ordinal-data 

Para las pruebas t, según la mayoría de los textos, se supone que los datos de la población se distribuyen normalmente. No veo por qué es eso. ¿Una prueba t solo requiere que la distribución muestral de las medias muestrales se distribuya normalmente y no la población? Si es el …

9 hypothesis-testing  t-test  assumptions  normality-assumption  central-limit-theorem 

Tengo un modelo de mezcla que quiero encontrar el estimador de máxima verosimilitud de un conjunto de datos dado y un conjunto de datos observados parcialmente . He implementado tanto el paso E (calculando la expectativa de dado y los parámetros actuales ), como el paso M, para minimizar la …

9 maximum-likelihood  mixture  expectation-maximization 

Utilizo la decomposefunción Ry encuentro los 3 componentes de mi serie temporal mensual (tendencia, estacional y aleatoria). Si trazo el gráfico o miro la tabla, puedo ver claramente que la serie temporal se ve afectada por la estacionalidad. Sin embargo, cuando retrocedo la serie temporal en las 11 variables ficticias …

9 r  regression  time-series 

En CNN, aprenderemos los filtros para producir el mapa de características en la capa convolucional. En Autoencoder, la única unidad oculta de cada capa se puede considerar como filtro. ¿Cuál es la diferencia entre los filtros aprendidos en estas dos redes?

9 machine-learning  neural-networks  conv-neural-network  autoencoders