Estadísticas y Big Data

En algunas conferencias y tutoriales que he visto, sugieren dividir sus datos en tres partes: capacitación, validación y prueba. Pero no está claro cómo se debe usar el conjunto de datos de prueba, ni cómo este enfoque es mejor que la validación cruzada en todo el conjunto de datos. Digamos …

25 machine-learning  cross-validation  validation 

Supongamos que yo estoy corriendo una regresión . ¿Por qué al seleccionar los principales componentes principales de , el modelo conserva su poder predictivo en ?Y∼XY∼XY \sim XkkkXXXYYY Entiendo que desde el punto de vista de reducción de dimensionalidad / selección de características, si son los vectores propios de la …

25 regression  classification  pca  dimensionality-reduction  regularization 

Tengo varias preguntas sobre la penalización de cresta en el contexto de mínimos cuadrados: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) La expresión sugiere que la matriz de covarianza de X se reduce hacia una matriz diagonal, lo que significa que (suponiendo que las variables estén estandarizadas antes del procedimiento) …

25 regression  pca  regularization  ridge-regression 

El lmerTestpaquete proporciona una anova()función para modelos lineales mixtos con la aproximación opcional de Satterthwaite (por defecto) o Kenward-Roger de los grados de libertad (df). ¿Cuál es la diferencia entre estos dos enfoques? ¿Cuándo elegir cuál?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom 

Los bosques aleatorios son bien conocidos por desempeñarse bastante bien en una variedad de tareas y se les conoce como los expertos en métodos de aprendizaje . ¿Hay algún tipo de problemas o condiciones específicas en las que se debe evitar el uso de un bosque aleatorio?

25 machine-learning  classification  random-forest 

Suponga que tengo un conjunto de datos para una tarea de clasificación estadística supervisada, por ejemplo, a través de un clasificador de Bayes. Este conjunto de datos consta de 20 características y quiero reducirlo a 2 características mediante técnicas de reducción de dimensionalidad como el Análisis de componentes principales (PCA) …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Soy un estudiante de maestría en CS en una universidad alemana que ahora escribe mi tesis. Terminaré en dos meses. Tengo que tomar una decisión muy difícil si debo continuar con un doctorado o encontrar un trabajo en la industria. Mis razones para hacer un doctorado: Soy una persona muy …

25 machine-learning  data-mining  careers 

En un modelo de regresión simple, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, los estimadores MCO betaβ^OLS0β^0OLS\hat{\beta}_0^{OLS} y ββ^OLS1β^1OLS\hat{\beta}_1^{OLS} están correlacionados. La fórmula para la correlación entre los dos estimadores es (si la he derivado correctamente): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Preguntas: ¿Cuál es la explicación intuitiva …

25 regression  least-squares  estimators 

Tengo una confusión sobre los estimadores sesgados de máxima verosimilitud (ML). La matemática de todo el concepto es bastante clara para mí, pero no puedo entender el razonamiento intuitivo detrás de él. Dado un determinado conjunto de datos que tiene muestras de una distribución, que en sí misma es una …

25 maximum-likelihood  bias 

Considere el ejemplo R a continuación: plot( hclust(dist(USArrests), "ave") ) ¿Qué significa exactamente la "Altura" del eje y? Mirando a Carolina del Norte y California (más bien a la izquierda). ¿California está "más cerca" de Carolina del Norte que Arizona? ¿Puedo hacer esta interpretación? Hawaii (derecha) se une al grupo …

25 interpretation  hierarchical-clustering  dendrogram 

Ejecuté un diseño repetido mediante el cual probé 30 hombres y 30 mujeres en tres tareas diferentes. Quiero entender cómo el comportamiento de hombres y mujeres es diferente y cómo eso depende de la tarea. Utilicé tanto el paquete lmer como el lme4 para investigar esto, sin embargo, estoy atascado …

25 r  mixed-model  assumptions  lme4-nlme 

Me gustaría generar una matriz de correlación aleatoria CC\mathbf C de tamaño n×nn×nn \times n modo que haya algunas correlaciones moderadamente fuertes presentes: matriz simétrica real cuadrada de tamaño n×nn×nn \times n , con, por ejemplo, n=100n=100n=100 ; positivo-definido, es decir, con todos los valores propios reales y positivos; rango …

25 random-generation  covariance-matrix  correlation-matrix 

Estoy tratando de comprender mejor la estimación de la densidad del kernel. Usando la definición de Wikipedia: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fh^(x)=1n∑ni=1Kh(x−xi)=1nh∑ni=1K(x−xih)fh^(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Tomemos como una función rectangular que da si está entre y y contrario, y (tamaño de la ventana) es …

25 r  kernel-smoothing  convolution 

Tengo un data.frame con 800 obs. de 40 variables, y me gustaría utilizar el Análisis de componentes principales para mejorar los resultados de mi predicción (que hasta ahora funciona mejor con Support Vector Machine en unas 15 variables seleccionadas a mano). Entiendo que un prcomp puede ayudarme a mejorar mis …

25 r  pca 

Estoy investigando varias técnicas utilizadas en la agrupación de documentos y me gustaría aclarar algunas dudas sobre PCA (análisis de componentes principales) y LSA (análisis semántico latente). Lo primero: ¿cuáles son las diferencias entre ellos? Sé que en PCA, la descomposición SVD se aplica a la matriz de covarianza de …

25 clustering  pca  data-mining  svd  lsa