Estadísticas y Big Data

Estoy buscando una buena terminología para describir lo que estoy tratando de hacer, para que sea más fácil buscar recursos. Entonces, supongamos que tengo dos grupos de puntos A y B, cada uno asociado a dos valores, X e Y, y quiero medir la "distancia" entre A y B, es …

28 multivariate-analysis  terminology  distance-functions 

Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

¿Cuál es su método preferido para verificar la convergencia cuando utiliza la cadena de Markov Monte Carlo para la inferencia bayesiana, y por qué?

28 bayesian  mcmc 

Parece haber una creciente discusión sobre los gráficos circulares. Los principales argumentos en contra parecen ser: El área se percibe con menos potencia que la longitud. Los gráficos circulares tienen una relación muy baja de punto de datos a píxeles Sin embargo, creo que pueden ser de alguna manera útiles …

28 data-visualization  many-categories  pie-chart 

Ya había una solicitud de Videos de Estadística Matemática , pero solicitó explícitamente a las personas videos que proporcionan una presentación matemática rigurosa de estadísticas. es decir, videos que pueden acompañar a un curso que usa un libro de texto mencionado en esta discusión sobre ... Entonces, al mismo tiempo, …

28 references 

Tengo scripts R para leer grandes cantidades de datos csv de diferentes archivos y luego realizar tareas de aprendizaje automático como svm para la clasificación. ¿Hay alguna biblioteca para hacer uso de múltiples núcleos en el servidor para R. o cuál es la forma más adecuada de lograrlo?

28 r  parallel-computing  multicore 

Los usuarios suelen verse tentados a romper los valores del eje para presentar datos de diferentes órdenes de magnitud en el mismo gráfico (ver aquí ). Si bien esto puede ser conveniente, no siempre es la forma preferida de mostrar los datos (puede ser engañoso en el mejor de los …

28 data-visualization  logarithm 

Quiero representar una variable como un número entre 0 y 1. La variable es un número entero no negativo sin límite inherente. Asigno 0 a 0, pero ¿qué puedo asignar a 1 o números entre 0 y 1? Podría usar el historial de esa variable para proporcionar los límites. Esto …

28 normalization 

Subproceso duplicado: acabo de instalar la última versión de R. ¿Qué paquetes debo obtener? ¿Cuáles son los paquetes R que no podrías imaginar en tu trabajo diario con datos? Enumere las herramientas generales y específicas. ACTUALIZACIÓN: En cuanto a 24.10.10 ggplot2parece ser el ganador con 7 votos. Otros paquetes mencionados …

28 r 

En 5.5, Deep Learning (por Ian Goodfellow, Yoshua Bengio y Aaron Courville), afirma que Cualquier pérdida que consiste en una probabilidad logarítmica negativa es una entropía cruzada entre la distribución empírica definida por el conjunto de entrenamiento y la distribución de probabilidad definida por el modelo. Por ejemplo, el error …

28 machine-learning  normal-distribution  cross-entropy 

Como se anunció en https://www.youtube.com/watch?v=xAoljeRJ3lU , Matplotlib cambia el mapa de colores predeterminado de jet a viridis. Sin embargo, no lo entiendo muy bien. ¿Quizás porque soy daltónico? El chorro de mapa de colores original se ve muy fuerte, puedo sentir el contraste: Si bien el nuevo mapa de colores …

28 data-visualization 

La caminata aleatoria que se define como , donde es ruido blanco. Denota que la posición actual es la suma de la posición anterior + un término imprevisto.Yt= Yt - 1+ etYt=Yt−1+etY_{t} = Y_{t-1} + e_tmitete_t Puede probar que la función media , ya queμt= 0μt=0\mu_t = 0 mi( Yt) …

28 time-series  self-study  mathematical-statistics  stochastic-processes  random-walk 

Del libro de David Salsburg La dama degustando té : Aunque el lector no lo crea, el estilo literario juega un papel importante en la investigación matemática. Algunos escritores matemáticos parecen incapaces de producir artículos que sean fáciles de entender. Otros parecen obtener un placer perverso al generar muchas líneas …

28 references  communication 

Acabo de leer este maravilloso libro: Análisis estadístico multivariado aplicado por Johnson y Wichern . La ironía es que todavía no puedo entender la motivación para usar modelos multivariados (regresión) en lugar de modelos univariados (regresión) separados. Revisé las publicaciones stats.statexchange 1 y 2 que explican (a) la diferencia entre …

28 regression  multiple-regression  inference  multivariate-regression 

Las respuestas (definiciones) definidas en Wikipedia son posiblemente un poco crípticas para aquellos que no están familiarizados con las matemáticas / estadísticas superiores. En términos matemáticos, un modelo estadístico generalmente se considera un par ( ), donde S es el conjunto de observaciones posibles, es decir, el espacio muestral, y …

28 distributions  model  terminology