Preguntas etiquetadas con large-data

Estoy examinando una parte de mi conjunto de datos que contiene 46840 valores dobles que van del 1 al 1690 agrupados en dos grupos. Para analizar las diferencias entre estos grupos, comencé examinando la distribución de los valores para elegir la prueba correcta. Siguiendo una guía sobre las pruebas de …

12 r  normal-distribution  normality-assumption  large-data 

¿Cómo se realizan las pruebas de hipótesis con Big Data? Escribí el siguiente script de MATLAB para enfatizar mi confusión. Todo lo que hace es generar dos series aleatorias y ejecutar una regresión lineal simple de una variable sobre la otra. Realiza esta regresión varias veces utilizando diferentes valores aleatorios …

12 hypothesis-testing  large-data 

Estoy buscando un modelo entre los precios de las acciones de energía y el clima. Tengo el precio del MWatt comprado entre los países de Europa y muchos valores sobre el clima (archivos Grib). Cada hora en un período de 5 años (2011-2015). Precio / dia Esto es por día …

11 time-series  forecasting  predictive-models  modeling  large-data 

Soy un novato en R que está obligado a hacer varios tipos de análisis en grandes conjuntos de datos en R. Entonces, al mirar este sitio y en otros lugares, me pareció que hay muchos problemas esotéricos y menos conocidos involucrados aquí, como qué paquete usar cuándo, qué transformaciones se …

11 r  large-data 

La forma clásica del análisis de componentes principales (PCA) es hacerlo en una matriz de datos de entrada cuyas columnas tienen media cero (entonces PCA puede "maximizar la varianza"). Esto se puede lograr fácilmente centrando las columnas. Sin embargo, cuando la matriz de entrada es escasa, la matriz centrada ahora …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Para formular mejor mi pregunta, he proporcionado algunos de los resultados de un modelo de 16 variables ( fit) y un modelo de 17 variables ( fit2) a continuación (todas las variables predictoras en estos modelos son continuas, donde la única diferencia entre estos modelos es que fitno contiene la …

10 r  regression  logistic  model-selection  large-data 

¿Tiene sentido calcular intervalos de confianza y probar hipótesis cuando hay datos disponibles de toda la población? En mi opinión, la respuesta es no, ya que podemos calcular con precisión los valores verdaderos de los parámetros. Pero entonces, ¿cuál es la proporción máxima de datos de la población original que …

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

A menudo trato con una cantidad razonable de datos de series de tiempo, 50-200 millones de dobles con sellos de tiempo asociados y me gustaría visualizarlos dinámicamente. ¿Existe software para hacer esto de manera efectiva? ¿Qué hay de las bibliotecas y los formatos de datos? Zoom-cache es un ejemplo de …

10 time-series  data-visualization  large-data  interactive-visualization 

Tengo acceso a un conjunto de datos muy grande. Los datos provienen de grabaciones MEG de personas que escuchan extractos musicales, de uno de los cuatro géneros. Los datos son los siguientes: 6 sujetos 3 repeticiones experimentales (épocas) 120 ensayos por época 8 segundos de datos por prueba a 500Hz …

10 machine-learning  feature-selection  large-data  feature-construction 

Básicamente, hay dos formas comunes de aprender contra grandes conjuntos de datos (cuando te enfrentas a restricciones de tiempo / espacio): Hacer trampa :): use solo un subconjunto "manejable" para el entrenamiento. La pérdida de precisión puede ser insignificante debido a la ley de rendimientos decrecientes: el rendimiento predictivo del …

10 machine-learning  large-data  model-evaluation  train 

No tengo experiencia en la industria de minería de datos o big data, por lo que me encantaría escucharlo compartir alguna experiencia. ¿Las personas realmente ejecutan k-means, PAM, CLARA, etc. en un conjunto de datos realmente grande? ¿O simplemente seleccionan una muestra al azar? Si solo toman una muestra del …

10 clustering  data-mining  k-means  convergence  large-data 

Solo quería ver si alguien tiene alguna experiencia aplicando la regresión de procesos gaussiana (GPR) a conjuntos de datos de alta dimensión. Estoy investigando algunos de los diversos métodos GPR dispersos (por ejemplo, pseudo-entradas GPR dispersas) para ver qué podría funcionar para conjuntos de datos de alta dimensión donde la …

10 machine-learning  predictive-models  large-data  gaussian-process 

Teniendo en cuenta la cantidad constante de características, Barnes-Hut t-SNE tiene una complejidad de , las proyecciones aleatorias y PCA tienen una complejidad de hace "asequibles" para conjuntos de datos muy grandes.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Por otro lado, los métodos que se basan en el escalamiento multidimensional tienen una complejidad .O(n2)O(n2)O(n^2) ¿Existen …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

Los algoritmos de aprendizaje automático escalables parecen ser el zumbido en estos días. Cada empresa maneja nada menos que big data . ¿Existe un libro de texto que discuta qué algoritmos de aprendizaje automático se pueden escalar usando arquitecturas paralelas como Map-Reduce y qué algoritmos no pueden? O algunos documentos …

9 machine-learning  large-data 

Los siguientes injertos se toman de este artículo . Soy novato en bootstrap e intento implementar el bootstrapping paramétrico, semiparamétrico y no paramétrico para el modelo mixto lineal con R bootpaquete. Código R Aquí está mi Rcódigo: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography