Estadísticas y Big Data

En el modelo y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon , podríamos estimar ββ\beta utilizando la ecuación normal: β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,y podríamos obtener y =X β .y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. El vector de residuos se estima por ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = …

13 regression  least-squares  inference 

¿Puedo usar gráficos de caja y bigotes también para distribución multimodal o solo para distribución unimodal?

13 distributions  data-visualization  boxplot 

Estoy trabajando en un pequeño proyecto en el que intentamos predecir los precios de los productos básicos (petróleo, aluminio, estaño, etc.) para los próximos 6 meses. Tengo 12 variables para predecir y tengo datos de abril de 2008 a mayo de 2013. ¿Cómo debo ir sobre predicción? He hecho lo …

13 r  time-series  forecasting  neural-networks  arima 

Al realizar la regresión, si vamos por la definición de: ¿Cuál es la diferencia entre una probabilidad parcial, probabilidad de perfil y probabilidad marginal? eso, máxima verosimilitud Encuentra β y θ que maximiza L (β, θ | datos). Mientras, probabilidad marginal Integramos θ a partir de la ecuación de probabilidad …

13 regression  maximum-likelihood 

Digamos que depende de α . Hablando rigurosamenteXXXαα\alpha si y α son variables aleatorias, podríamos escribir p ( X ∣ α ) ;XXXαα\alphap(X∣α)p(X∣α)p(X\mid\alpha) sin embargo, si es una variable aleatoria y α es un parámetro, tenemos que escribir p ( X ; α ) .XXXαα\alphap(X;α)p(X;α)p(X; \alpha) Noté varias veces que …

13 machine-learning  terminology 

Estoy tratando de probar la cointegración entre dos series de tiempo. Ambas series tienen datos semanales que abarcan ~ 3 años. Estoy tratando de hacer el método de dos pasos de Engle-Granger. Mi orden de operaciones sigue. Pruebe cada serie de tiempo para la raíz de la unidad a través …

13 time-series  cointegration  unit-root  augmented-dickey-fuller 

(Si bien me doy cuenta de que esto no se trata estrictamente de estadísticas, se trata de la difusión de estadísticas en un entorno empresarial, por lo que asumí que todavía está dentro del rango de temas de CV) Un breve resumen de antecedentes: Nuestro entorno empresarial (y sospecho que …

13 business-intelligence  consulting 

Según Fritz, Morris y Richler (2011; ver más abajo), puede calcularse como un tamaño del efecto para la prueba U de Mann-Whitney utilizando la fórmula r = zrrr Esto es conveniente para mí, ya queinformotambién en otras ocasiones. Me gustaría informar el intervalo de confianza pararademás de la medida del …

13 confidence-interval  effect-size  wilcoxon-mann-whitney  spearman-rho 

Es bien sabido que la eficiencia relativa asintótica (ARE) de la prueba de rango con signo de Wilcoxon es 3π≈0.9553π≈0.955\frac{3}{\pi} \approx 0.955comparación con lapruebat deStudent, si los datos se obtienen de una población distribuida normalmente. Esto es cierto tanto para la prueba básica de una muestra como para la variante …

13 nonparametric  wilcoxon-mann-whitney  asymptotics  efficiency  wilcoxon-signed-rank 

Me gustaría hacer una prueba W de Shapiro Wilk y una prueba de Kolmogorov-Smirnov en los residuos de un modelo lineal para verificar la normalidad. Me preguntaba qué residuos deberían usarse para esto: los residuos en bruto, los residuos de Pearson, los residuos estudiados o los residuos estandarizados. Para una …

13 r  regression  residuals  normality-assumption  lm 

Aprendí en las estadísticas elementales que, con un modelo lineal general, para que las inferencias sean válidas, las observaciones deben ser independientes. Cuando se produce la agrupación, la independencia ya no puede conducir a una inferencia no válida a menos que esto se tenga en cuenta. Una forma de dar …

13 r  mixed-model  inference  independence 

Alrededor de 600 estudiantes tienen un puntaje en una evaluación extensa, que se puede suponer que tiene buena fiabilidad / validez. La evaluación se califica entre 100 y es una prueba de opción múltiple marcada por computadora. Esos 600 estudiantes también tienen puntajes en una segunda evaluación menor. En esta …

13 agreement-statistics 

¿Cómo detrendo series de tiempo? ¿Está bien tomar la primera diferencia y ejecutar una prueba de Dickey Fuller, y si es estacionaria, estamos bien? También descubrí en línea que puedo eliminar la tendencia de las series de tiempo haciendo esto en Stata: reg lncredit time predict u_lncredit, residuals twoway line …

13 regression  time-series  stata  stationarity 

Estoy leyendo un comentario en un artículo, y el autor afirma que a veces, aunque los estimadores (encontrados por ML o cuasilikelihood máxima) pueden no ser consistentes, el poder de una prueba de razón de probabilidad o razón de cuasi-probabilidad aún puede converger a 1 ya que el número de …

13 mathematical-statistics  references  inference  power  consistency 

Me parece que el aprendizaje conjunto siempre dará un mejor rendimiento predictivo que con una sola hipótesis de aprendizaje. Entonces, ¿por qué no los usamos todo el tiempo? ¿Mi conjetura es quizás debido a limitaciones computacionales? (incluso entonces, usamos predictores débiles, así que no lo sé).

13 boosting  ensemble  bagging