Estadísticas y Big Data

Quiero saber cuál es el rango de los valores de asimetría y curtosis para los cuales los datos se consideran distribuidos normalmente. He leído muchos argumentos y sobre todo tengo respuestas confusas. Algunos dicen que la asimetría y para la curtosis es un rango aceptable para su distribución normal. Algunos …

11 normal-distribution  skewness  kurtosis 

Estoy tratando de entender el significado de cortar y cortar en la trama de series de tiempo de ACF y PACF. ¿Qué significa "Cortar después del retraso"? Esto sobre el límite? ¿Qué significa "Tails off"? En el ejemplo anterior, el libro que estoy usando para estudiar, digamos que es un …

11 time-series  autocorrelation  terminology 

Estoy buscando referencias sobre el cálculo de intervalos de confianza para el modo (en general). Puede parecer que Bootstrap es la primera opción natural, pero como lo comenta Romano (1988), el bootstrap estándar falla para el modo y no proporciona ninguna solución simple. ¿Ha cambiado algo desde este artículo? ¿Cuál …

11 confidence-interval  bootstrap  kernel-smoothing  mode 

Estoy leyendo Gelman y Carlin "Más allá de los cálculos de potencia: evaluación de errores tipo S (signo) y tipo M (magnitud)" (2014). Estoy tratando de entender la idea principal, la idea principal, pero estoy confundido. ¿Podría alguien ayudarme a destilarme la esencia? El papel va más o menos así …

11 statistical-significance  effect-size  power  type-i-and-ii-errors 

Ayer mis compañeros de casa y yo estábamos jugando juegos de cartas y alguien hizo esta pregunta. Intentamos resolver el problema, pero no pudimos resolverlo. Esta mañana me desperté y todavía me pregunto cómo resolverlo. ¿Podrías ayudarme por favor?

11 probability 

Tengo un conjunto de datos con 26 características y 31000 filas. Es el conjunto de datos de 38 sujetos. Es para un sistema biométrico. Entonces quiero poder identificar sujetos. Para tener un conjunto de pruebas, sé que tengo que eliminar algunos valores. Entonces, ¿qué es mejor hacer y por qué? …

11 machine-learning  cross-validation  out-of-sample 

¿Hay alguna prueba de que el CLT no utiliza funciones características, un método más simple? ¿Tal vez los métodos de Tikhomirov o Stein? ¿Algo autónomo que puede explicar a un estudiante universitario (primer año de matemáticas o física) y ocupa menos de una página?

11 mathematical-statistics  central-limit-theorem  characteristic-function 

Estoy tratando de entender por qué la suma de dos (o más) variables aleatorias lognormales se aproxima a una distribución lognormal a medida que aumenta el número de observaciones. He buscado en línea y no he encontrado ningún resultado al respecto. Claramente, si e Y son variables lognormales independientes, entonces …

11 distributions  lognormal  convolution  sum 

Jugando con el conjunto de datos de vivienda de Boston y RandomForestRegressor(con parámetros predeterminados) en scikit-learn, noté algo extraño: la puntuación media de validación cruzada disminuyó a medida que aumentaba el número de pliegues más allá de 10. Mi estrategia de validación cruzada fue la siguiente: cv_met = ShuffleSplit(n_splits=k, test_size=1/k) …

11 machine-learning  cross-validation  random-forest  sample-size  scikit-learn 

El paquete R mclustutiliza BIC como criterio para la selección del modelo de clúster. Según tengo entendido, un modelo con el BIC más bajo debe seleccionarse sobre otros modelos (si solo le importa BIC). Sin embargo, cuando los valores BIC son todos negativos, la Mclustfunción adopta el modelo predeterminado con …

11 r  clustering  gaussian-mixture  bic  model-based-clustering 

Mi pregunta está inspirada en el generador de números aleatorios exponencial incorporado de R , la función rexp(). Al intentar generar números aleatorios distribuidos exponencialmente, muchos libros de texto recomiendan el método de transformación inversa como se describe en esta página de Wikipedia . Soy consciente de que hay otros …

11 r  simulation  random-generation  exponential  inverse-cdf 

Tengo una distribución de salarios y quiero comparar la diferencia de medias para hombres y mujeres. Sé que existe la prueba T de estudiante para comparar dos medias, pero después de sugerir ANOVA recibí algunas críticas diciendo que ANOVA es para comparar más de dos medias. ¿Qué (si algo) está …

11 hypothesis-testing  anova  t-test 

Estoy llevando a cabo una investigación para observar las diferencias en la densidad de peces y la riqueza de especies de peces cuando utilizo dos métodos diferentes de censo visual subacuático. Mis datos originalmente eran datos de conteo, pero luego esto normalmente se cambia a la densidad de peces, pero …

11 r  generalized-linear-model  poisson-distribution  offset 

Estoy leyendo el artículo de Wikipedia sobre modelos estadísticos aquí , y estoy algo perplejo en cuanto al significado de "modelos estadísticos no paramétricos", específicamente: Un modelo estadístico no es paramétrico si el conjunto de parámetros es de dimensión infinita. Un modelo estadístico es semiparamétrico si tiene parámetros de dimensión …

11 nonparametric  model 

Supongamos que tengo un clasificador (podría ser cualquiera de los clasificadores estándar como árbol de decisión, bosque aleatorio, regresión logística, etc.) para la detección de fraude usando el siguiente código library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic classifier Say, Y is …

11 classification  supervised-learning