Estadísticas y Big Data

Dada una matriz de datos de digamos 1000000 observaciones 100 características, ¿hay una manera rápida de construir una aproximación tridiagonal ? Entonces uno podría factorizar , todos 0 excepto y , y realizar una rápida descorrelación (blanqueamiento) resolviendo . (Por "rápido" me refiero a .)XXX××\timesA≈cov(X)A≈cov(X)A \approx cov(X)A=LLTA=LLTA = L L^TLLLLi …

8 variance  approximation  covariance-matrix 

La transformación Anscombe es .a ( x ) = 2x + 3 / 8------√a(x)=2x+3/8a(x) = 2\sqrt{x+3/8} ¿Alguien puede mostrarme cómo demostrar que una versión transformada por Anscombe de una variable aleatoria distribuida por Poisson es aproximadamente normal (cuando )?Y= a ( X)Y=a(X)Y = a(X)XXXλ > 4λ>4\lambda>4

8 distributions  normal-distribution  poisson-distribution 

Tengo dos variables aleatorias de Poisson independientes, y , con y . Quiero probar versus la alternativa .X1X1X_1X2X2X_2X1∼ Pois (λ1)X1∼Pois(λ1)X_1 \sim \text{Pois}(\lambda_1)X2∼ Pois (λ2)X2∼Pois(λ2)X_2 \sim \text{Pois}(\lambda_2)H0 0:λ1=λ2H0:λ1=λ2H_0:\, \lambda_1 = \lambda_2H1:λ1≠λ2H1:λ1≠λ2H_1:\, \lambda_1 \neq \lambda_2 Ya obtuve estimaciones de máxima verosimilitud bajo hipótesis nula y alternativa (modelo), y en base a las …

8 poisson-distribution  power  likelihood-ratio 

¿Podría alguien explicar por qué Richard McElreath dice que la prueba exacta de Fisher rara vez se usa adecuadamente en su excelente libro de introducción bayesiano ( Replanteamiento estadístico )? Como referencia, el contexto está a continuación: ¿Por qué las pruebas no son suficientes para una investigación innovadora? Los procedimientos …

7 hypothesis-testing  bayesian  fishers-exact 

Existen múltiples versiones de algoritmos adaptativos de Metropolis Hastings. Uno se implementa en la función Metro_Hastingsde Rpaquete MHadaptive, ver aquí . La referencia enumerada allí, Spiegelhalter et al. (2002), desafortunadamente no contiene una descripción de ningún algoritmo adaptativo, por lo que puedo ver. Sin embargo, el Metro_Hastingsalgoritmo funciona muy bien …

7 r  mcmc  metropolis-hastings 

Esta es una publicación cruzada de Math SE . Tengo algunos datos (tiempo de ejecución de un algoritmo) y creo que sigue una ley de potencia yr e g= kXunayrmisol=kXunay_\mathrm{reg} = k x^a Quiero determinar y . Lo que he hecho hasta ahora es hacer una regresión lineal (mínimos cuadrados) …

7 regression  fitting  logarithm  power-law 

Tengo una lista de productos, que incluye variables como el nombre del producto (como aparece en el recibo) y el comerciante donde se compró el producto. Tengo una buena cantidad de ellos clasificados manualmente en un grupo fijo de categorías (por ejemplo, bebidas alcohólicas, verduras, carne, etc.). Los datos son, …

7 machine-learning  classification 

Hice una prueba de suma de rango de Wilcoxon para averiguar si hay alguna diferencia en la distribución de Variable X1X1X_1para dos grupos Los resultados de la prueba mostraron que la diferencia existe. Sin embargo, sospecho que hay una variable de confusión , que está causando esta diferencia.X2X2X_2 ¿Cómo puedo …

7 nonparametric  wilcoxon-mann-whitney  confounding 

En Skeptics.StackExchange , una respuesta cita un estudio sobre hipersensibilidad electromagnética: McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo & Marino, Hipersensibilidad electromagnética: evidencia de un nuevo síndrome neurológico International Journal of Neuroscience, 00, 1-7, 2011, DOI: 10.3109 / 00207454.2011.608139. Tengo dudas sobre algunas de las estadísticas utilizadas, y agradecería cierta experiencia en …

7 statistical-significance  chi-squared 

Cuando hablamos de histogramas, ¿por qué nos referimos al eje x como "bin"?

6 terminology  histogram