Estadísticas y Big Data

Problema Me gustaría hacer alguna inferencia en un sistema análogo a morir con un número desconocido de lados. El dado se tira varias veces, después de lo cual me gustaría inferir una distribución de probabilidad sobre un parámetro correspondiente al número de lados que tiene el dado, θ. Intuición Si …

9 r  probability  bayesian  jags 

Estoy usando lmer en R para verificar el efecto de la condición ( cond) en algún resultado. Aquí están algunos hechos de seguridad de datos, donde s es el identificador de objeto y a, by cson condiciones. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, …

9 r  lme4-nlme  contrasts 

En mi libro de texto econométrico (Econometría introductoria) que cubre OLS, el autor escribe: "SSR debe caer cuando se agrega otra variable explicativa". Por que es

9 regression  optimization  econometrics  intuition  sums-of-squares 

Tengo datos mensuales de 1993 a 2015 y me gustaría hacer pronósticos sobre estos datos. Utilicé el paquete tsoutliers para detectar los valores atípicos, pero no sé cómo continúo pronosticando con mi conjunto de datos. Este es mi código: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) Esta es mi salida del paquete tsoutliers ARIMA(0,1,0)(0,0,1)[12] Coefficients: …

9 r  time-series  forecasting  arima  outliers 

Supongamos que tengo un experimento con dos o más factores. Se construye un ANOVA general, y luego hacemos un seguimiento con dos o más conjuntos de pruebas post hoc , por ejemplo, comparaciones múltiples. Mi pregunta es acerca de qué tan grandes y cuántas familias deben usarse como base para …

9 multiple-comparisons  post-hoc 

Tengo NNN (~ un millón) vectores de características. Hay MMM (~ un millón) características binarias, pero en cada vector solo KKK (~ mil) de ellas serían 111 , el resto son 000 . Estoy buscando los pares de vectores que tienen al menos LLL (~ cien) características en común ( …

9 algorithms  high-dimensional 

Mi libro de texto enumera el idf como dondel o g( 1 + Nnortet)log(1+Nnt)log(1+\frac{N}{n_t}) norteNN : número de documentos nortetntn_t : número de documentos que contienen el términottt Wikipedia enumera esta fórmula como una versión suavizada del real . Eso lo entiendo: varía de a que parece intuitivo. Pero va …

9 text-mining  natural-language  smoothing 

Observé que Caffe (un marco de aprendizaje profundo) utilizó la capa de pérdida Softmax SoftmaxWithLoss como capa de salida para la mayoría de las muestras de modelos . Hasta donde sé, la capa de pérdida Softmax es la combinación de la capa de pérdida logística multinomial y la capa Softmax …

9 multinomial  entropy  sums-of-squares  softmax 

Preguntas: ¿Se utilizan modelos lineales inadecuados en la práctica o se describe algún tipo de curiosidad de vez en cuando en revistas científicas? Si es así, ¿en qué áreas se utilizan? ¿Hay otros ejemplos de tales modelos? Finalmente, ¿serían correctos los errores estándar, los valores , R 2, etc. tomados …

9 regression  references  linear-model  robust 

Estoy leyendo la útil entrada de Wikipedia sobre el aumento de gradiente ( https://en.wikipedia.org/wiki/Gradient_boosting ), y trato de entender cómo / por qué podemos aproximar los residuos por el paso de descenso más pronunciado (también llamado pseudo-gradiente ) ¿Alguien puede darme la intuición de cómo el descenso más empinado está …

9 self-study  gradient-descent 

No estoy muy seguro de qué son exactamente VectorSource y VCorpus en el paquete 'tm'. La documentación no está clara sobre estos, ¿alguien puede hacerme entender en términos simples?

9 r  text-mining 

Supongamos que tengo una urna que contiene N colores diferentes de bolas y cada color diferente puede aparecer un número diferente de veces (si hay 10 bolas rojas, no es necesario que también haya 10 bolas azules). Si conocemos el contenido exacto de la urna antes de dibujar, podemos formar …

9 probability  discrete-data  distributions 

Espero tener más información sobre los cuatro tipos de sesgo de esta comunidad. Los tipos a los que me refiero se mencionan en la página de ayuda http://www.inside-r.org/packages/cran/e1071/docs/skewness . El antiguo método no se mencionó en la página de ayuda, pero lo incluyo de todos modos. require(moments) require(e1071) x=rnorm(100) n=length(x) …

9 skewness 

¿Cuáles son algunas alternativas a la prueba de ji cuadrado para variables categóricas con tablas mayores de 2 x 2 y celdas con un recuento menor de 5, si no quiero fusionar clases?

9 chi-squared  fishers-exact 

En mi campo, la forma habitual de graficar datos emparejados es como una serie de segmentos de línea delgada y delgada, superpuestos con la mediana y el IC de la mediana para los dos grupos: Sin embargo, este tipo de gráfico se vuelve mucho más difícil de leer a medida …

9 generalized-linear-model  data-visualization  modeling  interpretation  paired-data