Estadísticas y Big Data

Estoy interesado en vincular registros en 2 conjuntos de datos por nombre, apellido y año de nacimiento. ¿Podría esto ser factible con el algoritmo EM, y si es así, cómo? Considere el siguiente registro en el 1er como ejemplo: Carl McCarthy, 1967. Buscaré en todos los registros del segundo conjunto …

9 machine-learning  stata  expectation-maximization  record-linkage  perl 

Estoy construyendo una herramienta de pronóstico interactivo (en python) como ayuda para el pronóstico que se realiza en mi organización. Hasta la fecha, el proceso de pronóstico ha sido impulsado en gran medida por los humanos, con los pronosticadores asimilando los datos en sus redes neuronales naturales y utilizando su …

9 data-visualization  communication 

En el capítulo "Regresión a la media" de "Pensamiento, rápido y lento" de Daniel Kahneman, se da un ejemplo y se le pide al lector que pronostique las ventas de tiendas individuales dado el pronóstico general de ventas y los números de ventas del año anterior . Por ejemplo (el …

9 regression 

Estaba tratando de crear algunos datos de prueba para la regresión logística y encontré esta publicación ¿Cómo simular datos artificiales para la regresión logística? Es una buena respuesta, pero solo crea variables continuas. ¿Qué pasa con una variable categórica x3 con 5 niveles (ABCDE) asociada con y para el mismo …

9 r  logistic  simulation 

Tengo una pregunta sobre la interpretación de los bigotes de un diagrama de caja. He leído lo siguiente: "En la parte superior e inferior del rectángulo, los" bigotes "muestran el rango de 1,5 veces la distancia entre los cuantiles de 0,25 y 0,75", pero no entiendo completamente lo que se …

9 data-visualization  boxplot 

En la página 232 de "Un compañero de R para la regresión aplicada", Fox y Weisberg observan Solo la familia gaussiana tiene una varianza constante, y en todos los demás GLM la varianza condicional de y en depende de μ ( x )XX\bf{x}μ ( x )μ(X)\mu(x) Anteriormente, observaron que la …

9 logistic  generalized-linear-model 

¿Cuáles son algunos de los mejores libros para estudiar? I) la variabilidad de las variables univariadas y multivariadas (datos reales, de conteo) en un dominio espacial. ii) muestrear una variable univariada o multivariada en función de su distribución en ubicaciones espaciales. (Muestreo espacial en resumen)

9 sampling  mathematical-statistics  references  spatial 

Soy un principiante cuando se trata de soportar máquinas de vectores. ¿Existen algunas pautas que digan qué núcleo (por ejemplo, lineal, polinomial) es el más adecuado para un problema específico? En mi caso, tengo que clasificar las páginas web según si contienen información específica o no, es decir, tengo un …

9 classification  svm  model-selection  libsvm  kernel-trick 

Quiero saber si hay alguna forma posible de calcular el coeficiente de Jaccard usando la multiplicación de matrices. Usé este código jaccard_sim <- function(x) { # initialize similarity matrix m <- matrix(NA, nrow=ncol(x),ncol=ncol(x),dimnames=list(colnames(x),colnames(x))) jaccard <- as.data.frame(m) for(i in 1:ncol(x)) { for(j in i:ncol(x)) { jaccard[i,j]= length(which(x[,i] & x[,j])) / length(which(x[,i] …

9 r  matrix  binary-data  association-measure  similarities 

Soy nuevo en el modelado mixto y estoy confundido sobre si es apropiado usar un efecto aleatorio en un análisis que estoy haciendo. Cualquier consejo sería apreciado. mi estudio está probando qué tan bien un índice de abundancia de mamíferos recientemente desarrollado puede predecir el valor de un índice establecido …

9 random-effects-model  nested-data 

Tengo una discusión con mi asesor sobre la visualización de datos. Afirma que cuando se representan resultados experimentales, los valores deben trazarse únicamente con " marcadores ", tal como se presenta en la imagen siguiente. Mientras que las curvas solo deben representar un " modelo " Por otro lado, creo …

9 data-visualization  communication 

Actualmente estoy trabajando con las cadenas de Markov y calculé la estimación de máxima verosimilitud usando probabilidades de transición según lo sugerido por varias fuentes (es decir, el número de transiciones de a a b dividido por el número de transiciones generales de a a otros nodos). Ahora quiero calcular …

9 maximum-likelihood  markov-process  likelihood 

Obtengo coeficientes enormes durante la regresión logística, vea coeficientes con krajULKV: > summary(m5) Call: glm(formula = cbind(ml, ad) ~ rok + obdobi + kraj + resid_usili2 + rok:obdobi + rok:kraj + obdobi:kraj + kraj:resid_usili2 + rok:obdobi:kraj, family = "quasibinomial") Deviance Residuals: Min 1Q Median 3Q Max -2.7796 -1.0958 -0.3101 1.0034 …

9 regression  logistic  generalized-linear-model  separation 

Tengo problemas para distinguir entre los conceptos de escedasticidad y estacionariedad. Según tengo entendido, la heterocedasticidad es una variabilidad diferente en las subpoblaciones y la no estacionariedad es una media / varianza cambiante a lo largo del tiempo. Si esta es una comprensión correcta (aunque simplista), ¿la no estacionariedad es …

9 time-series  heteroscedasticity  stationarity  intuition 

Recientemente estaba depurando un script R y encontré algo muy extraño, el autor definió su propia función de valor p pval <- function(x, y){ if (x+y<20) { # x + y is small, requires R.basic p1<- nChooseK(x+y,x) * 2^-(x+y+1); p2<- nChooseK(x+y,y) * 2^-(x+y+1); pvalue = max(p1, p2) } else { …

9 r  hypothesis-testing  p-value