Estadísticas y Big Data

Estoy tratando de ver si elegir la regresión de cresta , LASSO , la regresión de componentes principales (PCR) o los mínimos cuadrados parciales (PLS) en una situación en la que hay un gran número de variables / características ( ) y un menor número de muestras ( ), y …

15 regression  pca  lasso  ridge-regression  partial-least-squares 

¿Es significativo y posible realizar una prueba KS de una cola? ¿Cuál sería la hipótesis nula de tal prueba? ¿O la prueba KS es inherentemente una prueba de dos colas? Me beneficiaría una respuesta que me ayudara a comprender la distribución de D (estoy trabajando en el artículo de 1951 …

15 hypothesis-testing  goodness-of-fit  kolmogorov-smirnov 

Tengo dos conjuntos de datos y me gustaría saber si son significativamente diferentes o no (esto proviene de "¿ Dos grupos son significativamente diferentes? Prueba de uso "). Decidí usar una prueba de permutación, haciendo lo siguiente en R: permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna …

15 p-value  permutation-test 

Pregunta original (25/7/14): ¿Tiene sentido esta cita de los medios de comunicación o hay una mejor manera estadística de ver la avalancha de accidentes aéreos recientes? Sin embargo, Barnett también llama la atención sobre la teoría de la distribución de Poisson, lo que implica que los intervalos cortos entre choques …

15 probability  poisson-distribution 

Tengo un problema con la normalidad de algunos datos que tengo: hice una prueba de Kolmogorov que dice que no es normal con p = .0000, no entiendo: el sesgo de mi distribución = -. 497, y la curtosis = -0,024 Aquí está la trama de mi distribución que se …

15 normal-distribution  spss  kolmogorov-smirnov  histogram  qq-plot 

Estoy tratando de hacer una regresión en los datos heteroscedasticos donde trato de predecir las varianzas de error, así como los valores medios en términos de un modelo lineal. Algo como esto: y(x,t)ξ(x,t)y¯(x,t)σ(x,t)=y¯(x,t)+ξ(x,t),∼N(0,σ(x,t)),=y0+ax+bt,=σ0+cx+dt.y(x,t)=y¯(x,t)+ξ(x,t),ξ(x,t)∼N(0,σ(x,t)),y¯(x,t)=y0+ax+bt,σ(x,t)=σ0+cx+dt.\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) &\sim N\left(0,\sigma\left(x,t\right)\right),\\ \bar{y}\left(x,t\right) &= y_{0}+ax+bt,\\ \sigma\left(x,t\right) &= \sigma_{0}+cx+dt. \end{align} En palabras, los datos …

15 regression  spss  variance  residuals  heteroscedasticity 

¿Existe algún tesauro de referencia para estadísticas y términos de aprendizaje automático? Sé que los artículos de Wikipedia a menudo contienen sinónimos, pero me gustaría tener un simple diccionario de sinónimos que podría revisar fácilmente (en lugar de una enciclopedia completa) para asegurarme de conocer toda la jerga.

15 machine-learning  terminology 

Si tengo un sistema de clasificación por estrellas donde los usuarios pueden expresar su preferencia por un producto o artículo, ¿cómo puedo detectar estadísticamente si los votos están altamente "divididos"? Es decir, incluso si el promedio es 3 de 5, para un producto dado, ¿cómo puedo detectar si se trata …

15 variance  average  dispersion 

Tengo un conjunto de datos con unos pocos millones de filas y ~ 100 columnas. Me gustaría detectar aproximadamente el 1% de los ejemplos en el conjunto de datos, que pertenecen a una clase común. Tengo una restricción de precisión mínima, pero debido al costo muy asimétrico, no estoy muy …

15 machine-learning  classification  unbalanced-classes  precision-recall 

He oído que la regresión de cresta se puede derivar como la media de una distribución posterior, si la anterior se elige adecuadamente. ¿Es la intuición de que las restricciones establecidas en los coeficientes de regresión por el anterior (por ejemplo, distribuciones normales estándar alrededor de 0) son idénticas / …

15 bayesian  prior  ridge-regression 

Estoy trabajando en la medida de importancia de la característica Gini para bosque aleatorio. Por lo tanto, necesito calcular la disminución de Gini en la impureza del nodo. Esta es la forma en que lo hago, lo que conduce a un conflicto con la definición, lo que sugiere que debo …

15 feature-selection  random-forest  cart 

En particular, me pregunto por qué tenemos este concepto R múltiple (que puedo entender como la correlación entre las puntuaciones observadas y pronosticadas en la regresión múltiple), y luego un concepto R-cuadrado separado que es solo el cuadrado o R. Me han informado que R cuadrado es la variación porcentual …

15 multiple-regression 

Quiero intentar usar Support Vector Machines (SVM) en mi conjunto de datos. Sin embargo, antes de intentar el problema, me advirtieron que los SVM no funcionan bien en datos extremadamente desequilibrados. En mi caso, puedo tener tanto como 95-98% 0's y 2-5% 1's. Traté de encontrar recursos que hablaran sobre …

15 svm  libsvm  unbalanced-classes 

Logré una fuerte relación lineal entre mi variable XXX e YYY después de transformar doblemente la respuesta. El modelo era Y∼XY∼XY\sim X pero lo transformé a YX−−√∼X−−√YX∼X\sqrt{\frac{Y}{X}}\sim \sqrt{X} mejorandoR2R2R^2de .19 a .76. Claramente hice una cirugía decente en esta relación. ¿Alguien puede discutir las trampas de hacer esto, como los …

15 regression  data-transformation  r-squared 

He intentado calcular el AIC de una regresión lineal en R pero sin usar la AICfunción, así: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Sin embargo, AICle da un valor diferente: AIC(lm_mtcars) [1] 190.7999 ¿Alguien podría decirme qué estoy haciendo mal?

15 r  aic  information-theory