Estadísticas y Big Data

Estoy trabajando con una gran cantidad de series de tiempo. Estas series temporales son básicamente mediciones de red que se realizan cada 10 minutos, y algunas de ellas son periódicas (es decir, el ancho de banda), mientras que otras no (es decir, la cantidad de tráfico de enrutamiento). Me gustaría …

88 time-series  outliers  mathematical-statistics  real-time 

No soy estadístico por educación, soy ingeniero de software. Sin embargo, las estadísticas surgen mucho. De hecho, las preguntas específicas sobre los errores de Tipo I y Tipo II surgen mucho en el curso de mis estudios para el examen de Certified Software Development Associate (las matemáticas y las estadísticas …

88 terminology  type-i-and-ii-errors 

Si estamos ajustando un glmer, podemos recibir una advertencia que nos dice que el modelo está teniendo dificultades para converger ... por ejemplo >Warning message: In checkConv(attr(opt, "derivs"), opt$par, ctrl = control$checkConv, : Model failed to converge with max|grad| = 0.00389462 (tol = 0.001) Otra forma de verificar la convergencia …

88 r  mixed-model  lme4-nlme 

Ajustar una regresión logística usando lme4 termina con Error in mer_finalize(ans) : Downdated X'X is not positive definite. Una causa probable de este error es aparentemente la deficiencia de rango. ¿Qué es la deficiencia de rango y cómo debo abordarla?

87 r  logistic  lme4-nlme 

Sé que k-means no está supervisado y se utiliza para la agrupación, etc., y que k-NN está supervisado. ¿Pero quería saber diferencias concretas entre los dos?

86 machine-learning  k-means  k-nearest-neighbour 

Dado que el software puede hacer el cálculo exacto de la prueba de Fisher con tanta facilidad hoy en día , ¿hay alguna circunstancia en la que, teórica o prácticamente, la prueba de ji cuadrado sea realmente preferible a la prueba exacta de Fisher? Las ventajas de la prueba exacta …

86 chi-squared  contingency-tables  fishers-exact 

Supongamos que tengo un conjunto de datos de muestra de una distribución desconocida o compleja, y quiero realizar alguna inferencia en una estadística de los datos. Mi inclinación por defecto es simplemente generar un montón de muestras de arranque con el reemplazo, y calcular mi estadística de en cada muestra …

86 hypothesis-testing  confidence-interval  bootstrap 

Sé de manera aproximada e informal lo que es un intervalo de confianza. Sin embargo, parece que no puedo entender un detalle bastante importante: según Wikipedia: Un intervalo de confianza no predice que el valor verdadero del parámetro tiene una probabilidad particular de estar en el intervalo de confianza dados …

86 confidence-interval  definition 

La wiki discute los problemas que surgen cuando la multicolinealidad es un problema en la regresión lineal. El problema básico es que los resultados multicolineales en estimaciones de parámetros inestables hacen que sea muy difícil evaluar el efecto de las variables independientes en las variables dependientes. Entiendo las razones técnicas …

85 regression  intuition  multicollinearity 

Me gusta el libro de G van Belle sobre Reglas prácticas estadísticas y, en menor medida, Errores comunes en estadística (y cómo evitarlos) de Phillip I Good y James W. Hardin. Abordan las dificultades comunes al interpretar los resultados de los estudios experimentales y de observación y proporcionan recomendaciones prácticas …

85 modeling  eda  rule-of-thumb 

Todos sabemos que el mantra "la correlación no implica causalidad" se incluye en todos los estudiantes de estadística de primer año. Hay algunos ejemplos agradables aquí para ilustrar la idea. Pero a veces correlación hace implica causalidad. El siguiente ejemplo está tomando de esta página de Wikipedia Por ejemplo, uno …

85 correlation  causality 

¿Es válido incluir una interacción bidireccional en un modelo sin incluir los efectos principales? ¿Qué pasa si su hipótesis es solo acerca de la interacción, todavía necesita incluir los efectos principales?

85 regression  modeling  interaction  regression-coefficients 

Tengo adaptarse a unos modelos de efectos mixtos (en particular los modelos longitudinales) utilizando lme4en R, pero me gustaría realmente dominar los modelos y el código que va con ellos. Sin embargo, antes de sumergirme con los dos pies (y comprar algunos libros), quiero estar seguro de que estoy aprendiendo …

85 r  mixed-model  lme4-nlme 

Es un hecho conocido que la mediana es resistente a los valores atípicos. Si ese es el caso, ¿cuándo y por qué usaríamos la media en primer lugar? Una cosa que se me ocurre quizás es comprender la presencia de valores atípicos, es decir, si la mediana está lejos de …

84 mathematical-statistics  mean  median 

Soy nuevo en el aprendizaje automático, y he estado tratando de descubrir cómo aplicar la red neuronal al pronóstico de series temporales. He encontrado recursos relacionados con mi consulta, pero parece que todavía estoy un poco perdido. Creo que una explicación básica sin demasiados detalles ayudaría. Digamos que tengo algunos …

83 time-series  forecasting  neural-networks