Estadísticas y Big Data

Tengo algunos datos a los que estoy tratando de ajustar una línea de tendencia. Creo que los datos siguen una ley de potencia, por lo que he trazado los datos en ejes de registro-registro buscando una línea recta. Esto ha resultado en una línea (casi) recta y, por lo tanto, …

21 goodness-of-fit  power-law 

Para agrupar documentos (de texto) necesita una forma de medir la similitud entre pares de documentos. Dos alternativas son: Compare documentos como vectores de términos usando Cosine Similarity - y TF / IDF como las ponderaciones de los términos. Compare la distribución de probabilidad de cada documento utilizando la divergencia …

21 information-retrieval 

Nota: El caso es n >> p Estoy leyendo Elementos de aprendizaje estadístico y hay varias menciones sobre la forma "correcta" de hacer la validación cruzada (por ejemplo, página 60, página 245). Específicamente, mi pregunta es ¿cómo evaluar el modelo final (sin un conjunto de pruebas separado) usando k-fold CV …

21 machine-learning  model-selection  data-mining  cross-validation 

SPSS proporciona la salida "intervalo de confianza de las medias de diferencia". He leído en algunos lugares que significa "95 de cada 100 veces, nuestra diferencia de medias de muestra estará entre estos límites". Esto no está claro. ¿Alguien puede sugerir una redacción más clara para explicar el "intervalo de …

21 confidence-interval 

Quiero comprender completamente la noción de describe la cantidad de variación entre las variables. Cada explicación web es un poco mecánica y obtusa. Quiero "entender" el concepto, no solo usar mecánicamente los números.r2r2r^2 Por ejemplo: horas estudiadas vs. puntaje de la prueba rrr = .8 r2r2r^2 = .64 ¿Entonces, qué …

21 regression  correlation  variance 

Aquí, eche un vistazo: puede ver exactamente dónde terminan los datos de entrenamiento. Los datos de entrenamiento van de a .−1−1-1111 Usé Keras y una red densa 1-100-100-2 con activación de tanh. Calculo el resultado a partir de dos valores, p y q como p / q. De esta manera …

21 regression  neural-networks  python  keras 

Me preguntaba si sería posible generar variables binomiales aleatorias correlacionadas siguiendo un enfoque de transformación lineal. A continuación, probé algo simple en R y produce cierta correlación. Pero me preguntaba si hay una forma de principios para hacer esto. X1 = rbinom(1e4, 6, .5) ; X2 = rbinom(1e4, 6, .5) …

21 r  correlation  binomial  random-generation  bernoulli-distribution 

Digamos que tengo un modelo que me da valores proyectados. Calculo RMSE de esos valores. Y luego la desviación estándar de los valores reales. ¿Tiene algún sentido comparar esos dos valores (varianzas)? Lo que creo es que si RMSE y la desviación estándar son similares / iguales, entonces el error …

21 standard-deviation  standard-error  rms 

¿Cuál es la forma correcta más teórica de información / física para calcular la entropía de una imagen? En este momento no me importa la eficiencia computacional; teóricamente, quiero que sea lo más correcta posible. Comencemos con una imagen en escala de grises. Un enfoque intuitivo es considerar la imagen …

21 spatial  entropy  image-processing 

He estado leyendo sobre la validación de k-fold, y quiero asegurarme de que entiendo cómo funciona. Sé que para el método de retención, los datos se dividen en tres conjuntos, y el conjunto de prueba solo se usa al final para evaluar el rendimiento del modelo, mientras que el conjunto …

21 cross-validation  validation  out-of-sample 

Con Stan y los paquetes frontend rstanarmo brmspuedo analizar fácilmente los datos al estilo bayesiano como lo hice antes con modelos mixtos como lme. Si bien tengo la mayor parte del libro y los artículos de Kruschke-Gelman-Wagenmakers-etc en mi escritorio, estos no me dicen cómo resumir los resultados para una …

21 statistical-significance  bayesian  stan  credible-interval  medicine 

¿Cómo funciona el método de inversión? Digamos que tengo una muestra aleatoria con densidad sobre y, por lo tanto, con cdf en . Luego, por el método de inversión obtengo la distribución de como . X1,X2,...,XnX1,X2,...,XnX_1,X_2,...,X_nf(x;θ)=1θx(1−θ)θf(x;θ)=1θx(1−θ)θf(x;\theta)={1\over \theta} x^{(1-\theta)\over \theta} 0&lt;x&lt;10&lt;x&lt;10<x<1FX(x)=x1/θFX(x)=x1/θF_X(x)=x^{1/\theta}(0,1)(0,1)(0,1)XXXF−1X(u)=uθFX−1(u)=uθF_X^{-1}(u)=u^\theta Entonces, ¿ tiene la distribución de ? ¿Es así como …

21 r  distributions  inference  random-generation  inverse-cdf 

Considere el modelo estándar para regresión múltiple donde , por lo que la normalidad, la homocedasticidad y la falta de correlación de errores se mantienen.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2yonorte)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Supongamos que realizamos una …

21 regression  assumptions  ridge-regression 

Tengo dos funciones de densidad de probabilidad de distribuciones normales: f1(x1|μ1,σ1)=1σ12π−−√e−(x−μ1)22σ21f1(x1|μ1,σ1)=1σ12πe−(x−μ1)22σ12f_1(x_1 \; | \; \mu_1, \sigma_1) = \frac{1}{\sigma_1\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_1)^2}{2\sigma_1^2} } y f2(x2|μ2,σ2)=1σ22π−−√e−(x−μ2)22σ22f2(x2|μ2,σ2)=1σ22πe−(x−μ2)22σ22f_2(x_2 \; | \; \mu_2, \sigma_2) = \frac{1}{\sigma_2\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_2)^2}{2\sigma_2^2} } Estoy buscando la función de densidad de probabilidad de la separación entre y …

21 distributions  normal-distribution  distance 

No entiendo por qué la variable aleatoria "binomial negativa" tiene ese nombre. ¿Qué tiene de negativo? ¿Qué tiene de binomial? ¿Qué tiene de negativo el binomio?

21 distributions  random-variable  terminology  negative-binomial