Estadísticas y Big Data

En el aprendizaje automático, a menudo se supone que un conjunto de datos se encuentra en un múltiple liso de baja dimensión (el supuesto múltiple), pero ¿hay alguna forma de demostrar que si se cumplen ciertas condiciones, entonces el conjunto de datos se genera (aproximadamente)? de un múltiple liso de …

9 machine-learning  dimensionality-reduction  manifold-learning 

Tengo un conjunto de datos de millones de segmentos de línea dirigida. Los segmentos de línea son secuenciales: es una variable climática (calor sensible), con valores observados y simulados a intervalos de media hora. Estoy tratando de buscar patrones en el rendimiento de la simulación. Estoy viendo un diagrama de …

9 descriptive-statistics  vector-fields  data-visualization 

Supongamos que tengo alguna función desconocida Fff con el dominio Rℝℝ , que sé que cumple algunas condiciones razonables como la continuidad. Sé los valores exactos de Fff (porque los datos provienen de una simulación) en algunos puntos de muestreo equidistantes con , que puedo suponer que son lo suficientemente …

9 time-series  hypothesis-testing  exact-test 

Estoy tratando de entender mejor el método de Johansen, así que desarrollé un ejemplo 3.1 dado por el libro Likelihood-Based-Inference-Cointegrated-Autoregressive-Econometrics donde tenemos tres procesos: X1t=∑i=1tϵ1i+ϵ2tX1t=∑i=1tϵ1i+ϵ2tX_{1t} = \sum_{i=1}^t \epsilon_{1i} + \epsilon_{2t} X2t=α∑i=1tϵ1i+ϵ3tX2t=α∑i=1tϵ1i+ϵ3t X_{2t} = \alpha \sum_{i=1}^t \epsilon_{1i} + \epsilon_{3t} X3t=ϵ4tX3t=ϵ4t X_{3t} = \epsilon_{4t} entonces los vectores de cointegración deberían ser [a, …

9 self-study  cointegration  vecm 

Estamos utilizando STL (implementación R) para pronosticar datos de series temporales. Todos los días hacemos pronósticos diarios. Nos gustaría comparar los valores de pronóstico con valores reales e identificar la desviación promedio. Por ejemplo, ejecutamos el pronóstico para mañana y obtuvimos puntos de pronóstico, nos gustaría comparar estos puntos de …

9 time-series  forecasting  accuracy 

Tengo una simulación en la que un animal se coloca en un entorno hostil y se cronometra para ver cuánto tiempo puede sobrevivir usando algún enfoque de supervivencia. Hay tres enfoques que puede usar para sobrevivir. Ejecuté 300 simulaciones del animal usando cada enfoque de supervivencia. Todas las simulaciones tienen …

9 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test 

No estoy seguro de cómo proceder con este CFA que estoy haciendo en lavaan. Tengo una muestra de 172 participantes (sé que no es mucho para un CFA) y 28 elementos con escalas Likert de 7 puntos que deberían cargarse en siete factores. Hice un CFA con estimadores "mlm", pero …

9 r  sem  fitting  confirmatory-factor 

Soy muy nuevo en estadísticas espaciales y veo muchos tutoriales, Pero realmente no entiendo por qué tiene que proporcionar un modelo de variograma cuando realiza la corrección. Estoy usando el paquete gstat en R, y este es el ejemplo que dan: library(sp) data(meuse) coordinates(meuse) = ~x+y data(meuse.grid) str(meuse.grid) gridded(meuse.grid) = …

9 spatial 

Quiero generar tiempo de supervivencia a partir de un modelo de riesgos proporcionales de Cox que contiene una covariable dependiente del tiempo. El modelo es h ( t | Xyo) = h0 0( t ) exp( γXyo+ α myo( t ) )h(t|Xi)=h0(t)exp⁡(γXi+αmi(t))h(t|X_i) =h_0(t) \exp(\gamma X_i + \alpha m_{i}(t)) donde se …

9 r  survival  cox-model  time-varying-covariate 

Tengo datos ruidosos de dos variables como esta. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07) set.seed(1334) yn <- rnorm(20000, 0.5,0.9) set.seed(2344) xn <- rnorm(20000, 0.5,0.9) …

9 r  machine-learning  clustering 

Si se usa un Análisis discriminante lineal de varias clases (o también leo Análisis discriminante múltiple a veces) para la reducción de dimensionalidad (o transformación después de la reducción de dimensionalidad a través de PCA), entiendo que, en general, una "normalización del puntaje Z" (o estandarización) de las características no …

9 classification  data-transformation  normalization  standardization  discriminant-analysis 

¿Cuál es la importancia de la matriz del sombrero, , en el análisis de regresión?H=X(X′X)−1X′H=X(X′X)−1X′H=X(X^{\prime}X )^{-1}X^{\prime} ¿Es solo para un cálculo más fácil?

9 regression  multiple-regression  least-squares 

Mi pregunta es generalmente sobre la descomposición del valor singular (SVD), y particularmente sobre la indexación semántica latente (LSI). Digamos que tengo que contiene frecuencias de 5 palabras para 7 documentos.UNAw o r d× do c u m e n tAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, …

9 r  svd  natural-language  latent-semantic-indexing 

Suponga que tiene una población con unidades, cada una con una variable aleatoria . Usted observa valores de para cualquier unidad para la cual . Queremos una estimación de .X i ∼ Poisson ( λ ) n = N - n 0 X i > 0 λnorteNNXyo∼ Poisson ( λ …

9 expectation-maximization 

Mi pregunta es realmente simple, pero esas son las que realmente me entienden :) Realmente no sé cómo evaluar si una serie de tiempo específica se descompondrá utilizando un método de descomposición aditiva o multiplicativa. Sé que hay indicios visuales para distinguirlos, pero no los entiendo. Tomemos por ejemplo esta …

9 time-series  mathematical-statistics  variance-decomposition