Estadísticas y Big Data

Estoy interesado en la selección de modelos en una configuración de series de tiempo. Para concreción, supongamos que quiero seleccionar un modelo ARMA de un grupo de modelos ARMA con diferentes órdenes de retraso. La intención final es pronosticar . La selección del modelo puede hacerse por validación cruzada, uso …

23 time-series  forecasting  cross-validation  model-selection  aic 

Sé que si la mediana y la media son aproximadamente iguales, entonces esto significa que hay una distribución simétrica, pero en este caso particular no estoy seguro. La media y la mediana son bastante cercanas (solo una diferencia de 0.487m / gall) lo que me llevaría a decir que hay …

23 distributions  mean  skewness  median  qq-plot 

En el famoso artículo de 1938 (" La distribución de la muestra grande de la razón de probabilidad para probar hipótesis compuestas ", Annals of Mathematical Statistics, 9: 60-62), Samuel Wilks derivó la distribución asintótica de 2×LLR2×LLR2 \times LLR (relación de probabilidad logarítmica ) para hipótesis anidadas, bajo el supuesto …

23 hypothesis-testing  model-selection  likelihood-ratio  asymptotics  misspecification 

La gente dice que el margen suave SVM utiliza la función de pérdida de bisagra: . Sin embargo, la función objetivo real que SVM de margen blando intenta minimizar es \ frac {1} {2} \ | w \ | ^ 2 + C \ sum_i \ max (0,1-y_i (w ^ …

23 svm  loss-functions 

He encontrado dos definiciones en la literatura para el tiempo de autocorrelación de una serie temporal débilmente estacionaria: τa=1+2∑k=1∞ρkversusτb=1+2∑k=1∞|ρk|τa=1+2∑k=1∞ρkversusτb=1+2∑k=1∞|ρk| \tau_a = 1+2\sum_{k=1}^\infty \rho_k \quad \text{versus} \quad \tau_b = 1+2\sum_{k=1}^\infty \left|\rho_k\right| donde ρk=Cov[Xt,Xt+h]Var[Xt]ρk=Cov[Xt,Xt+h]Var[Xt]\rho_k = \frac{\text{Cov}[X_t,X_{t+h}]}{\text{Var}[X_t]} es la autocorrelación en el retrasokkk. Una aplicación del tiempo de autocorrelación es encontrar el "tamaño …

23 r  time-series  correlation 

Cuando busco en Google "fisher" "fiducial" ... Seguro que recibo muchos golpes, pero todos los que he seguido están completamente fuera de mi comprensión. Todos estos éxitos parecen tener una cosa en común: están escritos para estadísticos teñidos, personas completamente inmersas en la teoría, la práctica, la historia y la …

23 bayesian  inference  terminology  fiducial  ronald-fisher 

He utilizado el principio de máxima entropía para justificar el uso de varias distribuciones en diversos entornos; sin embargo, todavía tengo que poder formular una interpretación estadística, en oposición a la teoría de la información, de la entropía máxima. En otras palabras, ¿qué implica maximizar la entropía acerca de las …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

He leído muchos trabajos de investigación sobre clasificación de sentimientos y temas relacionados. La mayoría de ellos utilizan validación cruzada 10 veces para entrenar y probar clasificadores. Eso significa que no se realiza ninguna prueba / validación por separado. ¿Porqué es eso? ¿Cuáles son las ventajas / desventajas de este …

23 classification  cross-validation 

Tengo un conjunto de datos que contiene como máximo 150 ejemplos (divididos en entrenamiento y prueba), con muchas características (más de 1000). Necesito comparar clasificadores y métodos de selección de características que funcionan bien en los datos. Entonces, estoy usando tres métodos de clasificación (J48, NB, SVM) y 2 métodos …

23 classification  feature-selection 

Preguntas para principiantes: Quiero probar si dos conjuntos de datos discretos provienen de la misma distribución. Me sugirieron una prueba de Kolmogorov-Smirnov. Conover ( Estadísticas prácticas no paramétricas , 3d) parece decir que la prueba de Kolmogorov-Smirnov puede usarse para este propósito, pero su comportamiento es "conservador" con distribuciones discretas, …

23 r  goodness-of-fit  discrete-data  kolmogorov-smirnov 

Estoy buscando ejemplos de cómo interpretar las estimaciones de AIC (criterio de información de Akaike) y BIC (criterio de información bayesiano). ¿Se puede interpretar la diferencia negativa entre BIC como las probabilidades posteriores de un modelo sobre el otro? ¿Cómo puedo poner esto en palabras? Por ejemplo, el BIC = …

23 interpretation  aic  bic 

Utilicé la prcomp()función para realizar un PCA (análisis de componentes principales) en R. Sin embargo, hay un error en esa función de modo que el na.actionparámetro no funciona. Pedí ayuda sobre stackoverflow ; dos usuarios ofrecieron dos formas diferentes de tratar con los NAvalores. Sin embargo, el problema con ambas …

23 r  pca  missing-data  data-imputation 

Tengo un problema de regresión multi-salida con características de entrada y salidas. Las salidas tienen una estructura de correlación compleja, no lineal.reXreXd_xreyreyd_y Me gustaría usar bosques aleatorios para hacer la regresión. Por lo que puedo decir, los bosques aleatorios para la regresión solo funcionan con una sola salida, por lo …

23 regression  multivariate-analysis  random-forest 

Tengo datos con muchas funciones correlacionadas, y quiero comenzar reduciendo las funciones con una función de base suave, antes de ejecutar un LDA. Estoy tratando de usar splines cúbicas naturales en el splinespaquete con la nsfunción. ¿Cómo hago para asignar los nudos? Aquí está el código R básico: library(splines) lda.pred …

23 r  splines 

Tengo un algoritmo MCMC particular que me gustaría portar a C / C ++. Gran parte del cálculo costoso ya está en C a través de Cython, pero quiero tener todo el muestreador escrito en un lenguaje compilado para poder escribir envoltorios para Python / R / Matlab / lo …

23 mcmc  software  c++  computing