Estadísticas y Big Data

Para datos distribuidos aproximadamente normalmente, los diagramas de caja son una excelente manera de visualizar rápidamente la mediana y la difusión de los datos, así como la presencia de valores atípicos. Sin embargo, para las distribuciones de colas más pesadas, muchos puntos se muestran como valores atípicos, ya que los …

13 r  distributions  data-visualization  data-transformation  ggplot2 

Tengo un conjunto de valores xxx e que están teóricamente relacionados exponencialmente:yyy y=axby=axsiy = ax^b Una forma de obtener los coeficientes es aplicando logaritmos naturales en ambos lados y ajustando un modelo lineal: > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] Otra forma de obtener esto …

13 r  regression  linear-model  model-selection  nonlinear-regression 

Así que he oído decir que no es una buena idea elegir una prueba estadística basada en el resultado de otra. Sin embargo, esto me parece extraño. Por ejemplo, las personas a menudo eligen usar una prueba no paramétrica cuando alguna otra prueba sugiere que los residuos no se distribuyen …

13 hypothesis-testing 

Supongamos que tengo una división 80/20 entre las observaciones de modelado / validación. He ajustado un modelo al conjunto de datos de modelado y me siento cómodo con el error que veo en el conjunto de datos de validación. Antes de implementar mi modelo para puntuar futuras observaciones, ¿es apropiado …

13 regression  predictive-models  validation 

Estoy usando el paquete R lavaan para estimar un modelo de ecuación estructural. Digamos que el modelo consta de 1 variable manifiesta endógena con 1 latente y 2 variables explicativas manifiestas: group = {0,1} attitude1 = latent,scale age = respondent's age El modelo de lavaan deseado es entonces (no funciona): …

13 r  interaction  sem  lavaan 

Estoy tratando de entender cómo funciona Random Forest. Tengo una idea de cómo se construyen los árboles, pero no puedo entender cómo Random Forest hace predicciones sobre muestras fuera de bolsa. ¿Alguien podría darme una explicación simple, por favor? :)

13 random-forest  prediction 

¿Tiene sentido estandarizar una variable dependiente dentro del grupo de identificación? El siguiente documento de trabajo (Desaceleración de la deforestación en la Amazonía legal; ¿Precios o políticas ?, pdf ) utiliza una variable dependiente estandarizada para analizar el efecto del cambio de política general en Brasil sobre la deforestación. La …

13 regression  time-series  panel-data  standardization  fixed-effects-model 

Tengo un conjunto de datos longitudinales de individuos y algunos de ellos estaban sujetos a un tratamiento y otros no. Todos los individuos están en la muestra desde el nacimiento hasta los 18 años y el tratamiento ocurre a alguna edad entre ese rango. La edad del tratamiento puede variar …

13 stata  panel-data  propensity-scores 

Estoy haciendo una regresión usando Random Forests para predecir precios basados ​​en varios atributos. El código está escrito en Python usando Scikit-learn. ¿Cómo decide si debe transformar sus variables usando exp/ logantes de usarlo para ajustar el modelo de regresión? ¿Es necesario cuando se utiliza un enfoque de conjunto como …

13 regression  machine-learning  predictive-models  python  random-forest 

Espero que esta pregunta no se marque "como demasiado general" y espero que se inicie una discusión que beneficie a todos. En estadística, pasamos mucho tiempo aprendiendo grandes teorías de muestra. Estamos profundamente interesados ​​en evaluar las propiedades asintóticas de nuestros estimadores, incluso si son asintóticamente insesgadas, asintóticamente eficientes, su …

13 sample  asymptotics 

Editar He encontrado un documento que describe exactamente el procedimiento que necesito. La única diferencia es que el documento interpola datos medios mensuales a diarios, al tiempo que conserva los medios mensuales. Tengo problemas para implementar el enfoque R. Cualquier pista es apreciada. Original Para cada semana, tengo los siguientes …

13 r  time-series  interpolation 

Consideremos este conjunto de datos hipotético: set.seed(12345) num.subjects <- 10 dose <- rep(c(1,10,50,100), num.subjects) subject <- rep(1:num.subjects, each=4) group <- rep(1:2, each=num.subjects/2*4) response <- dose*dose/10 * group + rnorm(length(dose), 50, 30) df <- data.frame(dose=dose, response=response, subject=subject, group=group) podemos usar lmepara modelar la respuesta con un modelo de efectos aleatorios: require(nlme) …

13 mixed-model  linear-model  prediction 

Si en las regresiones estándar de OLS se violan dos supuestos (distribución normal de errores, homocedasticidad), ¿son los errores estándar de arranque y los intervalos de confianza una alternativa apropiada para llegar a resultados significativos con respecto a la importancia de los coeficientes regresores? ¿Las pruebas de significación con errores …

13 regression  bootstrap  least-squares  heteroscedasticity 

Ejecuté PCA en 25 variables y seleccioné las 7 mejores PC usando prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) Luego hice rotación varimax en esos componentes. varimax7 <- varimax(prc$rotation[,1:7]) Y ahora deseo varimax rotar los datos rotados por PCA (ya que no es parte del objeto varimax, solo la matriz …

13 r  pca  factor-rotation 

El diccionario Merriam-Webster define un evento o situación contingente como 1 : likely but not certain to happen : possible 2 : not logically necessary; especially : empirical 3 a : happening by chance or unforeseen causes b : subject to chance or unseen effects : unpredictable c : intended …

13 terminology  contingency-tables