Estadísticas y Big Data

Tengo un conjunto de puntos de datos que se supone que se sientan en un lugar y siguen un patrón, pero hay algunos puntos de dispersión del lugar principal que causan incertidumbre en mi análisis final. Me gustaría obtener un lugar limpio para aplicarlo más tarde para mi análisis. Los …

9 outliers  scatterplot 

Por lo que entiendo, el argumento cp de la rpartfunción ayuda a podar previamente el árbol de la misma manera que los argumentos minplit o minbucket. Lo que no entiendo es cómo se calculan los valores de CP. Por ejemplo df<-data.frame(x=c(1,2,3,3,3,4), y=as.factor(c(TRUE, TRUE, FALSE, TRUE, FALSE, FALSE)), method="class") mytree<-rpart(y ~ …

9 r  cart  rpart 

Suponga que desea estimar un modelo lineal: ( observaciones de la respuesta y predictores ) nortenortenp + 1pags+1p+1E (yyo) =β0 0+∑j = 1pagsβjXyo jmi(yyo)=β0 0+∑j=1pagsβjXyoj\mathbb{E}(y_i) = \beta_0 + \sum_{j=1}^p \beta_j x_{ij} Una forma de hacerlo es a través de la solución OLS, es decir, elegir los coeficientes para que la …

9 regression  loss-functions 

Tengo dos preguntas relacionadas con tener efectos fijos en el modelo DD. Tengo un tratamiento que ocurre en diferentes momentos (p. Ej., 2001, 2005, etc.). Quiero ajustar un modelo DD, por lo que estandarizo el tratamiento años a año "0" como el tiempo de tratamiento. Para controlar la heterogeneidad del …

9 econometrics  panel-data  fixed-effects-model  difference-in-difference 

Estoy tratando de cuantificar el grado de inflación (es decir, cómo se ajustan mejor los puntos de datos observados a los esperados). Una forma es mirar el gráfico QQ. Pero me gustaría calcular algún indicador numérico para la inflación, lo que significa qué tan bien se ajusta lo observado a …

9 probability  distributions  qq-plot 

Estoy luchando con los puntos de proyección en el análisis discriminante lineal (LDA). Muchos libros sobre métodos estadísticos multivariados ilustran la idea de la LDA con la siguiente figura. La descripción del problema es la siguiente. Primero necesitamos dibujar el límite de decisión, agregar una línea perpendicular y luego trazar …

9 r  machine-learning  classification  discriminant-analysis 

Tengo 2 matrices de correlación UNAUNAA y sisiB(utilizando el coeficiente de correlación lineal de Pearson a través de corrcoef de Matlab () ). Me gustaría cuantificar cuánto "más correlación"UNAUNAA contiene en comparación con sisiB. ¿Hay alguna medida estándar o prueba para eso? Por ejemplo, la matriz de correlación contiene "más …

9 correlation  matlab  correlation-matrix 

Por lo general, es sencillo hacer un Power Analysiscálculo minimum sample size, especialmente en R, que es mi entorno informático estadístico preferido. Sin embargo, se me pide que realice un análisis de potencia que sea un poco diferente a todo lo que he hecho o al que puedo encontrar referencias …

9 t-test  sample-size  power-analysis  power-law 

La distribución logarítmica pertenece al dominio de atracción máximo de Gumbel , donde: FlogN(x;μ,σ)=Φ(lnx−μσ)FlogN(x;μ,σ)=Φ(ln⁡x−μσ)F^{logN}(x; \mu,\sigma)=\Phi\left(\frac{\ln x - \mu}{\sigma}\right) , FGum(x;μ,β)=e−exp(−x−μβ)FGum(x;μ,β)=e−exp⁡(−x−μβ)F^{Gum}(x;\mu,\beta) = e^{-\exp\left({-\frac{x-\mu}{\beta}}\right)} Mi pregunta : ¿tenemos y ?μ=μμ=μ\mu=\muσ=βσ=β\sigma=\beta La distribución Generalized Extreme Value también usa la notación (Gumbel es el caso límite ), y comparar los CDF para Standard-Lognormal y …

9 lognormal  extreme-value 

¿Cuál es la mejor manera de preparar interacciones de características categóricas antes de ajustar con scikit-learn? Con statsmodelspodría decir convenientemente en estilo R smf.ols(formula = 'depvar ~ C(var1)*C(var2)', data=df).fit()(lo mismo en Stata con regress depvar i.var1##i.var2). ¿Puede sklearn.preprocessing.PolynomialFeatures(en v0.15, actualmente dev) usarse con variables categóricas?

9 machine-learning  interaction  python  scikit-learn 

Supongamos que tenemos una prueba de conjunto de datos : 1 8 12 14 . . 19 El . denota valores perdidos. ¿Cuándo sería mejor usar el promedio de los valores que no faltan para imputar los valores faltantes en lugar de suponer que los datos provienen de una distribución …

9 missing-data 

Zuur 2013 Beginners Guide to GLM & GLMM sugiere validar una regresión de Poisson trazando los residuos de Pearson contra los valores ajustados. Zuur afirma que no deberíamos ver los residuos desplegándose a medida que aumentan los valores ajustados, como el gráfico adjunto (dibujado a mano). Pero pensé que una …

9 residuals  poisson-regression 

He visto una cantidad razonable de literatura sobre cómo elegir núcleos y anchos de banda al calcular una estimación de densidad del núcleo, pero actualmente estoy interesado en cómo mejorar el tiempo que lleva evaluar el KDE resultante en un número arbitrario de puntos. En mi caso, estoy usando un …

9 kernel-smoothing 

Estoy tratando de desarrollar un modelo predictivo para una variable dependiente angular (en [ 0 , 2 π] )[0 0,2π])[0,2\pi]) utilizando varias mediciones independientes, también variables angulares, en [ 0 , 2 π][0 0,2π][0,2\pi]- Como predictores. Cada predictor está significativamente pero no extremadamente fuertemente correlacionado con la variable dependiente. ¿Cómo …

9 regression  multiple-regression  circular-statistics 

Aquí están los datos: > tires <- data.frame(Wear = c(17, 14, 12, 13, 14, 14, 12, 11, 13, 13, 10, 11, 13, 8, 9, 9), Brand = rep(LETTERS[1:4], 4), Car = as.character(as.roman(rep(1:4, each = 4)))) > tires Wear Brand Car 1 17 A I 2 14 B I 3 12 …

9 r  anova  dataset  degrees-of-freedom