Estadísticas y Big Data

Tengo una pregunta sobre la comparación de modelos con factores de Bayes. En muchos casos, los estadísticos están interesados ​​en utilizar un enfoque bayesiano con antecedentes inadecuados (por ejemplo, algunos antecedentes de Jeffreys y de referencia). Mi pregunta es, en aquellos casos en que la distribución posterior de los parámetros …

10 bayesian  model-selection  prior 

Tengo un experimento que se ejecuta en cientos de computadoras distribuidas por todo el mundo que mide las ocurrencias de ciertos eventos. Los eventos dependen el uno del otro para que pueda ordenarlos en orden creciente y luego calcular la diferencia horaria. Los eventos deben estar distribuidos exponencialmente, pero al …

10 error  measurement-error  exponential 

Al jugar con un modelo de regresión multivariante, noté que había un pequeño pero notable efecto de multicolinealidad, medido por factores de inflación de varianza, dentro de las categorías de una variable categórica (después de excluir la categoría de referencia, por supuesto). Por ejemplo, supongamos que tenemos un conjunto de …

10 regression  categorical-data  multicollinearity 

Estoy confundido sobre el concepto de intervalo de confianza. Específicamente, suponga que hay una variable gaussiana con conocida, y estoy interesado en el límite inferior de la media con un nivel de confianza del .σ μ L 95 %X∼ N( μ , σ)X∼N(μ,σ)X \sim N(\mu, \sigma)σσ\sigmaμLμL\mu_L95 %95%95\% Haré el experimento …

10 confidence-interval 

Quiero decidir la capacidad de una tabla para que tenga probabilidades residuales inferiores a para desbordarse para , suponiendo que el número de entradas sigue una ley de Poisson con una determinada expectativa .2 - p p ∈ [ 40 ... 120 ] E ∈ [ 10 3 ... 10 …

10 poisson-distribution 

No obtengo la diferencia entre rfobject$importancey importance(rfobject)en la columna MeanDecreaseAccuracy. Ejemplo: > data("iris") > fit <- randomForest(Species~., data=iris, importance=TRUE) > fit$importance setosa versicolor virginica MeanDecreaseAccuracy MeanDecreaseGini Sepal.Length 0.027078501 0.019418330 0.040497602 0.02898837 9.173648 Sepal.Width 0.008553449 0.001962036 0.006951771 0.00575489 2.472105 Petal.Length 0.313303381 0.291818815 0.280981959 0.29216790 41.284869 Petal.Width 0.349686983 0.318527008 0.270975757 0.31054451 46.323415 …

10 r  random-forest  importance 

Estoy tratando de aplicar la idea de información mutua a la selección de funciones, como se describe en estas notas de clase (en la página 5). Mi plataforma es Matlab. Un problema que encuentro al calcular información mutua a partir de datos empíricos es que el número siempre está sesgado …

10 matlab  feature-selection  information-theory  mutual-information 

Cuando se entrena un modelo parametrizado (por ejemplo, para maximizar la probabilidad) a través del descenso de gradiente estocástico en algún conjunto de datos, se supone comúnmente que las muestras de entrenamiento se extraen de la distribución de datos de entrenamiento. Entonces, si el objetivo es modelar una distribución conjunta …

10 machine-learning  conditional-probability  reinforcement-learning  gradient-descent 

Según tengo entendido, el valor beta exponencial de una regresión logística es la razón de posibilidades de esa variable para la variable dependiente de interés. Sin embargo, el valor no coincide con la razón de probabilidades calculada manualmente. Mi modelo predice retraso en el crecimiento (una medida de desnutrición) usando, …

10 regression  logistic  interpretation  odds-ratio 

Es bien sabido (por ejemplo, en el campo de la detección de compresión) que la norma es "inductora de la dispersión", en el sentido de que si minimizamos lo funcional (para la matriz fija y el vector ) para lo suficientemente grande \ lambda> 0 , es probable que muchas …

10 regression  matrix  normalization  regularization  sparse 

¿Hay un buen limita la distribución de como n va a \ infty , en el supuesto de que son iid distribuciones normales con varianza \ sigma ^ 2 .max ( X1, X2, . . . , Xnorte)max(X1,X2,...,Xnorte)\max( X_1,X_2,...,X_n) nortenorten∞∞\inftyσ2σ2\sigma^2 Es casi seguro que es un problema bien conocido con …

10 distributions  probability  extreme-value 

Estoy leyendo un artículo que dice que X^k= 1norte--√∑j = 0norte- 1Xjmi- i 2 πk j / N,X^k=1norte∑j=0 0norte-1Xjmi-yo2πkj/ /norte,\hat{X}_k=\frac{1}{\sqrt{N}}\sum_{j=0}^{N-1}X_je^{-i2\pi kj/N}, (es decir, la Transformada discreta de Fourier , DFT) por el CLT tiende a una variable aleatoria gaussiana (compleja). Sin embargo, sé que esto no es cierto en general. …

10 time-series  central-limit-theorem  fourier-transform 

Necesito dibujar números aleatorios de una distribución log-cauchy que tiene densidad: ¿Alguien puede ayudarme o señalarme un libro / documento que pueda mostrarme cómo?F( x ; μ , σ) = 1x πσ[ 1 + ( l n ( x ) - μσ)2].F(X;μ,σ)=1Xπσ[1+(lnorte(X)-μσ)2].f(x;\mu,\sigma)=\frac{1}{x\pi\sigma\left[1+\left(\frac{ln(x)-\mu}{\sigma}\right)^2\right]}.

10 distributions  random-generation 

Si hay varias aproximaciones posibles, estoy buscando la más básica.

10 normal-distribution  multinomial  approximation 

Estoy haciendo algunas estadísticas descriptivas de los rendimientos diarios de los índices bursátiles. Es decir, si y P 2 son los niveles del índice en el día 1 y el día 2, respectivamente, entonces l o g e ( P 2P1P1P_1P2P2P_2es el retorno que estoy usando (completamente estándar en la …

10 distributions  finance  skewness  kurtosis