Estadísticas y Big Data

A menudo escucho sobre la evaluación del desempeño de un modelo de clasificación extendiendo el conjunto de prueba y entrenando un modelo en el conjunto de entrenamiento. Luego crea 2 vectores, uno para los valores predichos y otro para los valores verdaderos. Obviamente, hacer una comparación le permite a uno …

10 regression  machine-learning  model-evaluation 

He escuchado un poco sobre el uso de redes neuronales para pronosticar series temporales. ¿Cómo puedo comparar qué método para pronosticar mi serie temporal (datos minoristas diarios) es mejor: auto.arima (x), ets (x) o nnetar (x). Puedo comparar auto.arima con ets por AIC o BIC. ¿Pero cómo puedo compararlos con …

10 r  neural-networks  forecasting  arima  exponential-smoothing 

Estoy tratando de comparar datos de 2 poblaciones para saber si la diferencia entre los tratamientos es estadísticamente significativa. Los conjuntos de datos parecen estar distribuidos normalmente con muy poca diferencia entre los dos conjuntos. La diferencia promedio es 0.00017. Realicé una prueba t pareada, esperando no poder rechazar la …

10 statistical-significance  t-test  paired-data 

He visto dos representaciones diferentes del estimador de regresión cuantil que son Q(βq)=∑i:yi≥x′iβnq∣yi−x′iβq∣+∑i:yi&lt;x′iβn(1−q)∣yi−x′iβq∣Q(βq)=∑i:yi≥xi′βnq∣yi−xi′βq∣+∑i:yi&lt;xi′βn(1−q)∣yi−xi′βq∣Q(\beta_{q}) = \sum^{n}_{i:y_{i}\geq x'_{i}\beta} q\mid y_i - x'_i \beta_q \mid + \sum^{n}_{i:y_{i}< x'_{i}\beta} (1-q)\mid y_i - x'_i \beta_q \mid y Q ( βq) = ∑i = 1norteρq( yyo- x′yoβq) ,ρq( u ) = uyo( q- 1 ( uyo&lt; …

10 proof  quantile-regression  equivalence 

Estoy haciendo mi disertación y estoy llevando a cabo una serie de pruebas. Después de usar una prueba de Kruskal-Wallis, generalmente informo el resultado de esta manera: Hay una diferencia significativa entre las medias de ...( χ2( 2 )= 7.448 , p = .024 )(χ(2)2=7.448,p=.024)(\chi^2_{(2)}=7.448, p=.024) Pero ahora realicé una …

10 wilcoxon-mann-whitney  reporting 

Conozco 2 enfoques para hacer LDA, el enfoque bayesiano y el enfoque de Fisher . Supongamos que tenemos los datos , donde es el predictor p- dimensional e y es la variable dependiente de las clases K.(x,y)(x,y)(x,y)xxxpppyyyKKK Mediante el enfoque bayesiano , calculamos el p posterior (y_k | x) = …

10 discriminant-analysis 

Puedo ver por qué podría no usar un método más poderoso, como el método de Hochberg, sobre la corrección de Bonferroni, ya que pueden tener supuestos adicionales, como la independencia de las hipótesis en este caso, pero no entiendo por qué lo haría alguna vez usó la corrección de Bonferroni …

10 hypothesis-testing  bonferroni 

Soy relativamente nuevo en las estadísticas bayesianas y he estado usando JAGS recientemente para construir modelos bayesianos jerárquicos en diferentes conjuntos de datos. Si bien estoy muy satisfecho con los resultados (en comparación con los modelos glm estándar), necesito explicar a los no estadísticos cuál es la diferencia con los …

10 bayesian  hierarchical-bayesian 

En un conjunto de problemas probé este "lema", cuyo resultado no es intuitivo para mí. es una distribución normal estándar en un modelo censurado.ZZZ Formalmente, y . Luego, Entonces hay algún tipo de conexión entre la fórmula de expectativa sobre un dominio truncado y la densidad en el punto de …

10 normal-distribution  pdf  intuition 

Cuando las noticias hablan de cosas "estadísticamente probadas", ¿están usando correctamente un concepto de estadística bien definido, mal o simplemente usando un oxímoron? Me imagino que una 'prueba estadística' no es realmente algo realizado para probar una hipótesis, ni una prueba matemática, sino más bien una 'prueba estadística'.

10 inference  proof 

Cruce la publicación de mi pregunta de mathoverflow para encontrar algunas estadísticas de ayuda específica. Estoy estudiando un proceso físico que genera datos que se proyecta muy bien en dos dimensiones con valores no negativos. Cada proceso tiene una pista (proyectada) de puntos - ; vea la imagen a continuación.yXXxyyy …

10 distributions  modeling  predictive-models  fitting  curve-fitting 

Soy muy nuevo en el análisis de conglomerados. Estoy usando R para el agrupamiento k-means y me pregunto cuáles son esas cosas. ¿Y qué es mejor si su proporción es menor o mayor?

10 clustering 

Supongamos que tengo respuestas bivariadas con correlación significativa. Estoy tratando de comparar las dos formas de modelar estos resultados. Una forma es modelar la diferencia entre los dos resultados: Otra forma es usarlos o modelarlos: (yi2−yi1=β0+X′β)(yi2−yi1=β0+X′β)(y_{i2}-y_{i1}=\beta_0+X'\beta)glsgee(yij=β0+time+X′β)(yij=β0+time+X′β)(y_{ij}=\beta_0+\text{time}+X'\beta) Aquí hay un ejemplo de foo: #create foo data frame require(mvtnorm) require(reshape) set.seed(123456) sigma …

10 r  regression  model-selection 

Suponga una prueba t de una muestra, donde la hipótesis nula es . La estadística es entonces usando la desviación estándar de muestra . Al estimar , uno compara las observaciones con la media muestral : t = ¯ x - μ 0μ = μ0 0μ=μ0\mu=\mu_0 ss¯xt = x¯¯¯- μ0 …

10 mathematical-statistics  variance  t-test 

¿Hay alguna razón para no rotar una solución de análisis factorial exploratorio? Es fácil encontrar discusiones que comparen soluciones ortogonales con soluciones oblicuas, y creo que entiendo completamente todas esas cosas. Además, por lo que he podido encontrar en los libros de texto, los autores suelen pasar de explicar los …

10 factor-analysis  factor-rotation