Estadísticas y Big Data

De acuerdo con este tutorial sobre aprendizaje profundo , la pérdida de peso (regularización) generalmente no se aplica a los términos de sesgo b ¿por qué? ¿Cuál es el significado (intuición) detrás de esto?

13 machine-learning  neural-networks  bias  regularization 

Estoy revisando un documento sobre polinización, donde los datos se distribuyen binomialmente (la fruta madura o no). Así que usé glmercon un efecto aleatorio (planta individual) y un efecto fijo (tratamiento). Un revisor quiere saber si la planta tuvo un efecto en el conjunto de frutos, pero tengo problemas para …

13 r  generalized-linear-model  variance  lme4-nlme  ecology 

La función lm en R puede imprimir la covarianza estimada de los coeficientes de regresión. ¿Qué nos brinda esta información? ¿Podemos ahora interpretar mejor el modelo o diagnosticar problemas que podrían estar presentes en el modelo?

13 r  multiple-regression  least-squares 

Para la agrupación jerárquica, a menudo veo las siguientes dos "métricas" (no están hablando exactamente) para medir la distancia entre dos variables aleatorias e : \ newcommand {\ Cor} {\ mathrm {Cor}} \ begin {align} d_1 (X, y) & = 1- | \ Cor (X, y) |, \\ d_2 (X, …

13 correlation  clustering  distance  metric 

Sé que la media de la suma de variables independientes es la suma de las medias de cada variable independiente. ¿Esto se aplica también a las variables dependientes?

13 mean  non-independent 

Estoy reproduciendo desde cero los resultados en la Sección 4.2.1 de Probabilidad marginal de la salida de Gibbs Siddhartha Chib Revista de la Asociación Americana de Estadística, vol. 90, núm. 432. (diciembre de 1995), págs. 1313-1321. Es una mezcla de modelos normales con el número conocido de componentes. k≥1k≥1k\geq 1f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σ2j).(∗)f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σj2).(∗) …

13 bayesian  mixture  gibbs 

He estado leyendo sobre el cálculo valores de en modelos mixtos y después de leer las preguntas frecuentes de R-sig, otras publicaciones en este foro (vincularía algunas pero no tengo suficiente reputación) y varias otras referencias entiendo que usando valores en el contexto de modelos mixtos son complicados.R 2R2R2R^2R2R2R^2 Sin …

13 r  mixed-model  r-squared  lme4-nlme 

Al modelar series de tiempo, uno tiene la posibilidad de (1) modelar la estructura correlacional de los términos de error como, por ejemplo, un proceso AR (1) (2) incluye la variable dependiente rezagada como una variable explicativa (en el lado derecho) Entiendo que a veces hay razones sustanciales para elegir …

13 time-series  autocorrelation  residuals  lags 

Tengo datos de ventas diarias de un producto que es altamente estacional. Quiero capturar la estacionalidad en el modelo de regresión. He leído que si tiene datos trimestrales o mensuales, en ese caso puede crear 3 y 11 variables ficticias respectivamente, pero ¿puedo tratar con datos diarios? Tengo tres años …

13 regression  time-series  multiple-regression  categorical-data 

Estoy aprendiendo sobre la regresión de crestas y sé que la regresión de crestas tiende a funcionar mejor en presencia de multicolinealidad. Me pregunto por qué esto es cierto. Una respuesta intuitiva o matemática sería satisfactoria (ambos tipos de respuestas serían aún más satisfactorias). Además, sé que ese β siempre …

13 multicollinearity  ridge-regression 

Tengo una distribución empírica . Lo calculo de la siguiente maneraG(x)G(x)G(x) x <- seq(0, 1000, 0.1) g <- ecdf(var1) G <- g(x) Denote , es decir, es el pdf mientras que es el cdf.h Gh ( x ) = dG / dXh(x)=dG/dxh(x) = dG/dxhhhsolGG Ahora quiero resolver una ecuación para …

13 r  integral  ecdf 

Normalmente no podemos dibujar una curva ROC para los clasificadores discretos como los árboles de decisión. Estoy en lo cierto? ¿Hay alguna forma de dibujar una curva ROC para Dtrees?

13 roc  cart 

Estoy tratando de entender la lógica detrás de la prueba de chi-cuadrado. La prueba de Chi-cuadrado es . χ2luego se compara con una distribución de Chi-cuadrado para encontrar un valor p para rechazar o no la hipótesis nula. H0: las observaciones provienen de la distribución que utilizamos para crear nuestros …

13 probability  distributions  normal-distribution  mathematical-statistics  chi-squared 

Necesito calcular cuartiles (Q1, mediana y Q3) en tiempo real en un gran conjunto de datos sin almacenar las observaciones. Primero probé el algoritmo P cuadrado (Jain / Chlamtac) pero no estaba satisfecho (demasiado uso de CPU y no me convenció la precisión al menos en mi conjunto de datos). …

13 quantiles  median  online 

He calculado la autocorrelación en datos de series temporales sobre los patrones de movimiento de un pez en función de sus posiciones: X ( x.ts) e Y ( y.ts). Al usar R, ejecuté las siguientes funciones y produje los siguientes gráficos: acf(x.ts,100) acf(y.ts,100) Mi pregunta es, ¿cómo interpreto estas tramas? …

13 r  time-series  autocorrelation