Estadísticas y Big Data

Actualmente estoy trabajando en un proyecto para hacer pronósticos de datos de series temporales (datos mensuales). Estoy usando R para hacer el pronóstico. Tengo 1 variable dependiente (y) y 3 variables independientes (x1, x2, x3). La variable y tiene 73 observaciones, al igual que las otras 3 variables (alos 73). …

10 time-series  multiple-regression  forecasting  lags 

Básicamente quiero convertir las medidas de similitud en pesos que se usan como predictores. Las similitudes estarán en [0,1], y restringiré los pesos para que también estén en [0,1]. Me gustaría una función paramterica que haga este mapeo que probablemente optimizaré usando el descenso de gradiente. Los requisitos son que …

10 optimization  curve-fitting 

¿Cómo interpreta el coeficiente de la relación inversa de Mills (lambda) en el modelo Heckman de dos pasos ?

10 econometrics  heckman  selection-bias 

¿Son "residuales studentizados" y "residuales estandarizados" iguales en los modelos de regresión? Construí un modelo de regresión lineal en R y quería trazar la gráfica de los valores ajustados de los residuos Studentizados v / s, pero no encontré una forma automatizada de hacerlo en R. Supongamos que tengo un …

10 r  regression  residuals  terminology 

¿Podría alguien explicarme en términos simples qué es una matriz de covarianza isotrópica? No puedo encontrar nada en línea.

10 terminology  covariance-matrix  definition 

¿Cómo realizar una regresión de cresta no negativa? El lazo no negativo está disponible en scikit-learn, pero para cresta, no puedo imponer la no negatividad de las versiones beta, y de hecho, estoy obteniendo coeficientes negativos. ¿Alguien sabe a que se debe esto? Además, ¿puedo implementar la cresta en términos …

10 regression  lasso  regularization  ridge-regression 

Situación: Dos pájaros (machos y hembras) protegen sus huevos en el nido contra un intruso. Cada ave puede usar ataque o amenaza para protección, y estar presente o ausente. De los datos surge un patrón que dice que el comportamiento puede ser complementario: los ataques masculinos mientras que las mujeres …

10 r  sequence-analysis 

Todo está en el título, ¿tiene sentido usar la selección de características antes de usar un bosque aleatorio?

10 machine-learning  feature-selection  random-forest 

Entiendo que podemos emplear la regularización en un problema de regresión de mínimos cuadrados como w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] y que este problema tiene una solución de forma cerrada como: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vemos que en la segunda ecuación, la regularización es simplemente agregar λλ\lambda …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

¿Puede alguien proporcionar una explicación simple (laica) de la relación entre las distribuciones de Pareto y el Teorema del límite central (por ejemplo, ¿se aplica? ¿Por qué / por qué no?)? Estoy tratando de entender la siguiente declaración: "El Teorema del límite central no funciona con todas las distribuciones. Esto …

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

El algoritmo SVM es bastante antiguo: se desarrolló en la década de 1960, pero fue extremadamente popular en los años 1990 y 2000. Es una parte clásica (y bastante hermosa) de los cursos de aprendizaje automático. Hoy parece que en el procesamiento de medios (imágenes, sonido, etc.) las redes neuronales …

10 machine-learning  svm 

Estoy haciendo un análisis de Matlab en datos de MRI donde realicé PCA en una matriz de tamaño 10304x236 donde 10304 es el número de vóxeles (piense en ellos como píxeles) y 236 es el número de puntos de tiempo. El PCA me da 236 valores propios y sus coeficientes …

10 pca  eigenvalues  neuroimaging 

Estoy estudiando análisis discriminante, pero estoy teniendo dificultades para conciliar varias explicaciones diferentes. Creo que me falta algo, porque nunca antes me he encontrado con este nivel (aparente) de discrepancia. Dicho esto, el número de preguntas sobre el análisis discriminante en este sitio web parece ser un testimonio de su …

10 multivariate-analysis  discriminant-analysis 

Cargue el paquete necesario. library(ggplot2) library(MASS) Genera 10,000 números ajustados a la distribución gamma. x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] Dibuje la función de densidad de probabilidad, se supone que no sabemos a qué distribución se ajusta x. t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

En mis apuntes dice: La distribución t parece normal, aunque con colas ligeramente más pesadas. Entiendo por qué se vería normal (debido al Teorema del límite central). Pero me cuesta entender cómo demostrar matemáticamente que tiene colas más pesadas que la distribución normal y si hay una manera de medir …

10 normal-distribution  t-distribution  heavy-tailed