Estadísticas y Big Data

Estoy tratando de evaluar el rendimiento de un algoritmo de clasificación de aprendizaje automático supervisado. Las observaciones se dividen en clases nominales (2 por el momento, sin embargo, me gustaría generalizar esto a problemas de clases múltiples), extraídas de una población de 99 sujetos. Una de las preguntas que me …

11 r  hypothesis-testing  nonparametric 

¿Cómo se verifica la ergodicidad de un proceso estocástico estacionario de sentido amplio a partir de su (s) ruta (s) de muestra? ¿Podemos verificar la ergodicidad desde una sola ruta de muestra? ¿O necesitamos múltiples rutas de muestra? Una de las motivaciones para verificar la ergodicidad es en las series …

11 time-series  ergodic 

En el artículo de Wikipedia sobre el suavizado de Laplace (o suavizado aditivo), se dice que desde un punto de vista bayesiano, esto corresponde al valor esperado de la distribución posterior, utilizando una distribución de Dirichlet simétrica con el parámetro como previo.αα\alpha Estoy desconcertado acerca de cómo eso es realmente …

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

Encontré un tutorial muy útil sobre el algoritmo EM . El ejemplo y la imagen del tutorial es simplemente brillante. Pregunta relacionada sobre el cálculo de probabilidades ¿cómo funciona la maximización de expectativas? Tengo otra pregunta sobre cómo conectar la teoría descrita en el tutorial con el ejemplo. Durante el …

11 machine-learning  clustering  algorithms  natural-language 

La modularidad de un gráfico se define en su página de Wikipedia . En una publicación diferente , alguien explicó que la modularidad se puede calcular fácilmente (y maximizar) para redes ponderadas porque la matriz de adyacencia puede contener lazos valorados. Sin embargo, me gustaría saber si esto también funcionaría …

11 clustering  data-visualization  networks  partitioning  modularity 

Me gustaría corregir manualmente un cierto coeficiente, digamos , luego ajustar los coeficientes a todos los demás predictores, mientras en el modelo.β 1 = 1.0β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 ¿Cómo puedo lograr esto usando R? En particular, me gustaría trabajar con LASSO ( glmnet) si es posible. Alternativamente, ¿cómo puedo restringir este coeficiente a …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Chris Chatfield, cuyos muchos libros y documentos de calidad que disfruté leyendo, en (1) da el siguiente consejo: Por ejemplo, la elección entre los modelos de series temporales ARIMA con valores bajos y aproximadamente iguales del AIC probablemente debería hacerse, no en lo que da el AIC mínimo, sino en …

11 forecasting  model-selection  arima  aic 

He estado utilizando el método de extracción de red troncal descrito en este documento: http://www.pnas.org/content/106/16/6483.abstract Básicamente, los autores proponen un método basado en estadísticas que produce una probabilidad, para cada borde en el gráfico, de que el borde podría haber sucedido por casualidad. Yo uso el típico corte de significación …

11 probability  statistical-significance  data-visualization  graph-theory  networks 

¿Cómo explico los métodos generalizados de momentos y cómo se utiliza para un no estadístico? Hasta ahora voy con: es algo que usamos para estimar condiciones tales como promedios y variaciones basadas en muestras que hemos recolectado. ¿Cómo explico la parte donde estima el vector de parámetros minimizando la varianza?

11 generalized-moments  method-of-moments 

Estoy tratando de calcular una media y una desviación estándar de 2 percentiles para una distribución lognormal. Tuve éxito en realizar el cálculo para una distribución normal usando X = mean + sd * Zy resolviendo para media y sd. Creo que me falta una ecuación cuando intento hacer lo …

11 r  lognormal 

Estoy mirando la distribución de la suma de cuadrados de variables aleatorias distribuidas en T, con exponente de cola . Donde X es el rv, la transformada de Fourier para , me da una solución para el cuadrado antes de la convolución . αα\alphaX2X2X^2F(t)F(t)\mathscr{F}(t)F(t)nF(t)n\mathscr{F}(t)^nF(t)=∫∞0exp(itx2)⎛⎝⎜⎜⎜(αα+x2)α+12α−−√ B(α2,12)⎞⎠⎟⎟⎟dxF(t)=∫0∞exp⁡(itx2)((αα+x2)α+12α B(α2,12))dx\mathscr{F}(t)=\int_0^{\infty } \exp \left(i\, t\, …

11 probability  sums-of-squares 

Antecedentes: tuve que realizar un análisis de datos para un cliente (algún tipo de abogado) que era un principiante absoluto en estadística. Me preguntó qué significa el término "significación estadística" y realmente intenté explicarlo ... pero como no soy bueno para explicar cosas, fallé;)

11 statistical-significance  inference  communication 

Estoy buscando un documento que espero que exista, pero no sé si es así. Podría ser un conjunto de estudios de caso, y / o un argumento de la teoría de la probabilidad, acerca de por qué el uso de datos transversales para inferir / predecir cambios longitudinales puede ser …

11 references  panel-data  inference  causality  cross-section 

Para los no estadísticos como yo, es muy difícil captar la idea de la VImétrica (variación de la información) incluso después de leer el documento relevante de Marina Melia " Comparación de agrupamientos: una distancia basada en la información " (Journal of Multivariate Analysis, 2007). De hecho, no estoy familiarizado …

11 r  clustering  validation  intuition 

Tengo procesos normalmente distribuidos de los cuales obtengo pequeñas muestras ( n típicamente 10-30) que quiero usar para estimar la varianza. Pero con frecuencia las muestras están tan juntas que no podemos medir puntos individuales cerca del centro. Tengo esta vaga comprensión de que deberíamos ser capaces de construir un …

11 normal-distribution  estimation  rayleigh