Estadísticas y Big Data

Dejar {Xt}{Xt}\left\{X_t\right\} ser un proceso estocástico formado mediante la concatenación de dibujos iid de un proceso AR (1), donde cada dibujo es un vector de longitud 10. En otras palabras, {X1,X2, ... ,X10}{X1,X2,...,X10}\left\{X_1, X_2, \ldots, X_{10}\right\} son realizaciones de un proceso AR (1); {X11,X12, ...,X20}{X11,X12,...,X20}\left\{X_{11}, X_{12}, \ldots, X_{20}\right\}se extraen del …

8 r  autocorrelation  independence  lags 

La definición estándar de (digamos) un intervalo de confianza (IC) del 95% simplemente requiere que la probabilidad de que contenga el parámetro verdadero sea del 95%. Obviamente, esto no es único. El lenguaje que he visto sugiere que entre los muchos IC válidos, generalmente tiene sentido encontrar algo como el …

8 hypothesis-testing  confidence-interval 

Esta es más una pregunta filosófica, pero desde un punto de vista puramente bayesiano, ¿cómo se forma realmente el conocimiento previo? Si necesitamos información previa para llevar a cabo inferencias válidas, entonces parece haber un problema si tenemos que recurrir a la experiencia pasada para justificar los antecedentes de hoy. …

8 bayesian  inference  philosophical 

Casella y Berger establecen el Teorema de Basu (Th 6.2.24) de la siguiente manera: Si es una estadística completa y mínimamente suficiente, entonces es independiente de cada estadística auxiliar.T(X)T(X)T(X)T(X)T(X)T(X) Sin embargo, en la conferencia, vi una prueba del teorema que solo usaba la suficiencia, no la suficiencia mínima. La prueba …

8 sufficient-statistics 

Tengo un problema que se reduce a bolas en las urnas (en realidad se trata de alelos alternativos y de referencia en las poblaciones). Supongamos que tengo una urna grande bien mezclada (sorteos iid) que puede contener dos colores de bolas: aguamarina y azul huevo de petirrojo ( a y …

8 hypothesis-testing 

¿Cómo calcular el intervalo de confianza exacto para el tercer momento de distribución normal ?norte( a ,σ2)N(a,σ2)N(a, \sigma^2)

8 probability  normal-distribution  mathematical-statistics  confidence-interval 

La tasa de descubrimiento falso (Benjamini-Hochberg) se usa generalmente en 'Big Data', como los estudios genéticos que utilizan cientos de pruebas. ¿Pero también se puede usar en un número menor de pruebas? Por ejemplo, observando los resultados de dos grupos (hombres frente a mujeres) en, por ejemplo, 10-20 cuestionarios diferentes. …

8 multiple-comparisons  small-sample  false-discovery-rate 

Estoy ajustando algunos modelos aditivos generalizados usando el mgcvpaquete en R, y quiero probar entre dos modelos; si puedo eliminar un término o no. Sin embargo, estoy obteniendo resultados contradictorios (por lo que puedo decir). Un modelo, m1con un término suave para xagregar, parece dar un mejor ajuste en términos …

8 r  regression  gam 

Parece que ambos procesos se usan para estimar el valor máximo de una función desconocida, y ambos obviamente tienen diferentes formas de hacerlo. Pero en la práctica, ¿cualquier método es esencialmente intercambiable? ¿Dónde me gustaría usar uno sobre el otro? https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf Pregunta similar ¿ Optimización bayesiana o pendiente de …

8 optimization  maximum  bayesian-optimization 

Se sabe que al construir un árbol de decisión, dividimos la variable de entrada exhaustivamente y encontramos la "mejor" división por enfoque de prueba estadística o enfoque de función de impureza. Mi pregunta es cuando usamos una variable continua como la variable de entrada (solo unos pocos valores duplicados), el …

8 cart 

Dada una probabilidad gaussiana para una muestra como con siendo el espacio de parámetros y , parametrizaciones arbitrarias del vector medio y la matriz de covarianza.yyyp ( yEl | θ)= N( y; μ ( θ ) , Σ ( θ ) )p(y|θ)=N(y;μ(θ),Σ(θ))p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))ΘΘ\Thetaμ ( θ )μ(θ)\mu(\theta)Σ ( θ )Σ(θ)\Sigma(\theta) …

8 normal-distribution  mixed-model  prior  marginal  conjugate-prior 

Tengo una serie temporal binaria: tenemos 2160 datos (0 = no sucedió, 1 = sucedió) por un período de una hora en 90 días. Quiero pronosticar después de estos 90 días, dónde ocurrirá el próximo 1, y también extender esta disposición para el próximo mes.

8 time-series  binary-data 

Tengo un conjunto de valores xi,i=1,…,Nxi,i=1,…,N{x_i}, i=1, \dots ,N de los cuales calculo la mediana M. Me preguntaba cómo podría calcular el error en esta estimación. En la red descubrí que se puede calcular como 1.2533σN√1.2533σN1.2533\frac{\sigma}{\sqrt{N}} dónde σσ\sigmaes la desviación estándar Pero no encontré referencias al respecto. Así que no …

8 standard-deviation  bootstrap  standard-error  median 

Estoy tratando de entender cómo funciona la matriz de covarianza . Supongamos que tenemos dos variables:X, YX,YX, Y, dónde Cov(X,Y)=E[(x−E[X])(y−E[Y])]Cov(X,Y)=E[(x−E[X])(y−E[Y])]\text{Cov}(X,Y) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])] da la relación entre las variables, es decir, cuánto depende una de la otra. Ahora, tres casos variables es menos claro para mí. Una definición intuitiva para …

8 correlation  covariance  moments 

He estado estudiando la teoría detrás de ANNs últimamente y quería entender la 'magia' detrás de su capacidad de clasificación no lineal de múltiples clases. Esto me llevó a este sitio web que hace un buen trabajo al explicar geométricamente cómo se logra esta aproximación. Así es como lo entendí …

8 machine-learning  neural-networks  approximation  intuition  function