Estadísticas y Big Data

Tengo una pregunta metodológica general. Es posible que se haya respondido antes, pero no puedo localizar el hilo relevante. Apreciaré los punteros a posibles duplicados. ( Aquí hay una excelente, pero sin respuesta. Esto también es similar en espíritu, incluso con una respuesta, pero esta última es demasiado específica desde …

9 modeling  inference  misspecification 

Tengo muchos datos de series temporales: niveles y velocidades del agua frente al tiempo. Es la salida de una simulación de modelo hidráulico. Como parte del proceso de revisión para confirmar que el modelo está funcionando como se esperaba, tengo que trazar cada serie de tiempo para asegurarme de que …

9 time-series  data-visualization  change-point 

Estoy entrenando una red neuronal convolucional simple para la regresión, donde la tarea es predecir la ubicación (x, y) de un cuadro en una imagen, por ejemplo: La salida de la red tiene dos nodos, uno para xy otro para y. El resto de la red es una red neuronal …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Después de mi corta experiencia en estadística, parece que el tipo de sumas de cuadrados (tipo I, II, III, IV ...) utilizados para obtener resultados ANOVA podría marcar una diferencia dramática en los resultados de las pruebas (especialmente de modelos con interacciones y faltantes) datos). Sin embargo, aún no he …

9 regression  anova  manova  reporting  sums-of-squares 

Se disculpa por el mal uso de los términos técnicos. Estoy trabajando en un proyecto de segmentación semántica a través de redes neuronales convolucionales (CNN); tratando de implementar una arquitectura de tipo Encoder-Decoder, por lo tanto, la salida es del mismo tamaño que la entrada. ¿Cómo diseñas las etiquetas? ¿Qué …

9 conv-neural-network  image-processing  segmentation 

En un estudio longitudinal, los resultados de las unidades i se miden repetidamente en los puntos de tiempo t con un total de m ocasiones de medición fija (fija = las mediciones en unidades se toman al mismo tiempo).YitYitY_{it}iiitttmmm Las unidades se asignan aleatoriamente a un tratamiento, , o a …

9 mixed-model  panel-data  multilevel-analysis  random-effects-model  fixed-effects-model 

Soy nuevo en el uso de GMM. No pude encontrar ninguna ayuda apropiada en línea. ¿Podría alguien proporcionarme el recurso adecuado sobre "Cómo decidir si usar GMM se ajusta a mi problema?" o en caso de problemas de clasificación "¿Cómo decidir si tengo que usar la clasificación SVM o la …

9 classification  svm  gaussian-mixture  generalized-moments 

Estoy tratando de evaluar el rendimiento de la agrupación. Estaba leyendo la documentación de skiscit-learn sobre métricas . No entiendo la diferencia entre ARI y AMI. Me parece que hacen lo mismo de dos maneras diferentes. Citando de la documentación: Dado el conocimiento de las asignaciones de clase de verdad …

9 clustering  python  scikit-learn 

Yo estaba tratando de responder a la pregunta Evaluar solidario de Importancia método de muestreo en I . Básicamente, el usuario necesita calcular ∫π0f(x)dx=∫π01cos(x)2+x2dx∫0πf(x)dx=∫0π1cos⁡(x)2+x2dx\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx usando la distribución exponencial como la distribución de importancia q(x)=λ exp−λxq(x)=λ exp−λxq(x)=\lambda\ \exp^{-\lambda x} y encuentre el valor de que da la mejor aproximación a la …

9 r  simulation  exponential  importance-sampling 

Estoy tratando de hacer SVD a mano: m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) Pero la última línea no regresa m. ¿Por qué? Parece que tiene algo que ver con los signos de estos vectores propios ... ¿O entendí mal el procedimiento?

9 r  svd  eigenvalues 

Esta publicación se refiere a un modelo de regresión lineal bivariado, . Siempre he tomado la división de la suma total de cuadrados (SSTO) en la suma de cuadrados por error (SSE) y la suma de cuadrados para el modelo (SSR) por fe, pero una vez que comencé a pensar …

9 regression  sums-of-squares  orthogonal 

Solo quiero revisar algunos razonamientos. Si mi muestra original es de tamaño arranco, mi proceso de pensamiento es el siguiente:nortenorten 1norte1norte\frac{1}{n} es la posibilidad de cualquier observación extraída de la muestra original. Para garantizar que el próximo sorteo no sea la observación muestreada anteriormente, restringimos el tamaño de la muestra …

9 sampling  bootstrap  sample-size  subsampling 

Como muchos otros lo han hecho, descubrí que los recursos aquí y aquí son inmensamente útiles para comprender las células LSTM. Estoy seguro de que entiendo cómo fluyen y se actualizan los valores, y estoy lo suficientemente seguro como para agregar las "conexiones de mirilla" mencionadas, etc. también. En mi …

9 machine-learning  neural-networks  lstm  rnn 

Para algún propósito, necesito generar números aleatorios (datos) de la distribución "uniforme inclinado". La "pendiente" de esta distribución puede variar en un intervalo razonable, y luego mi distribución debería cambiar de uniforme a triangular en función de la pendiente. Aquí está mi derivación: Hagámoslo simple y generemos datos de a …

9 r  distributions  python  random-generation  uniform 

Estoy confundido por lo siguiente, y no he podido encontrar la respuesta en otro lado. Estoy tratando de aprender R mientras hago algunas estadísticas, y, como ejercicio, trato de verificar los resultados de las funciones R incorporadas al hacerlas 'a mano', por así decirlo, en R. Sin embargo, , para …

9 r  kruskal-wallis  ties