Preguntas etiquetadas con large-data

Tengo varios conjuntos de datos del orden de miles de puntos. Los valores en cada conjunto de datos son X, Y, Z que se refieren a una coordenada en el espacio. El valor Z representa una diferencia de elevación en el par de coordenadas (x, y). Típicamente en mi campo …

9 normal-distribution  large-data 

Tengo un conjunto de datos con aproximadamente 2,000 variables binarias / 200,000 filas y estoy tratando de predecir una sola variable dependiente binaria. Mi objetivo principal en esta etapa no es obtener la precisión de la predicción, sino identificar cuáles de estas variables son predictores importantes. Me gustaría reducir el …

9 machine-learning  data-mining  large-data 

La mayoría de los algoritmos de agrupación que he visto comienzan con la creación de una distancia de cada uno entre cada punto, lo que se vuelve problemático en conjuntos de datos más grandes. ¿Hay alguno que no lo haga? ¿O lo hace en algún tipo de enfoque parcial / …

9 clustering  algorithms  large-data 

Un colega en estadísticas aplicadas me envió esto: "Me preguntaba si conoces alguna forma de descubrir la verdadera dimensión del dominio de una función. Por ejemplo, un círculo es una función unidimensional en un espacio bidimensional. Si no sé cómo dibujar, ¿hay un estadística que puedo calcular que me dice …

9 large-data 

Tengo cerca de un millón de conjuntos de datos y cada vez que realizo una prueba de comparación de medias, ya sea ANOVA o una prueba t, obtengo un nivel de significancia de menos de .0001 en SPSS. Me preocupa que mi muestra sea tan grande que, por supuesto, cuando …

9 anova  t-test  effect-size  large-data 

Problema: quiero realizar un muestreo de Gibbs para inferir algo posterior sobre un gran conjunto de datos. Desafortunadamente, mi modelo no es muy simple y, por lo tanto, el muestreo es demasiado lento. Consideraría enfoques variacionales o paralelos, pero antes de llegar tan lejos ... Pregunta: Me gustaría saber si …

8 sampling  bootstrap  mcmc  large-data  gibbs 

Tengo un archivo bastante larege 100M filas y 30 columnas más o menos en el que me gustaría ejecutar múltiples regresiones. Tengo un código especializado para ejecutar las regresiones en todo el archivo, pero lo que me gustaría hacer es extraer muestras aleatorias del archivo y ejecutarlas en R. La …

8 r  regression  large-data  bootstrap 

Tengo un conjunto de datos con 5.818.446 líneas y 51 columnas, de las cuales 50 son predictores. Mi respuesta es cuantitativa, así que estoy interesado en un modelo de regresión. Estoy tratando de ajustar un bosque aleatorio a mis datos usando el paquete caret. Sin embargo, no tengo suficiente RAM …

8 r  random-forest  large-data 

Estoy tratando de comprender mejor la significación estadística, los tamaños del efecto y similares. Tengo la percepción (tal vez está mal) de que incluso los regresores irrelevantes a menudo se vuelven estadísticamente significativos en muestras grandes . Por irrelevante quiero decir que no hay una explicación del tema por qué …

8 regression  statistical-significance  effect-size  large-data 

Mi proyecto actual puede requerir que construya un modelo para predecir el comportamiento de un determinado grupo de personas. el conjunto de datos de entrenamiento contiene solo 6 variables (la identificación es solo para fines de identificación): id, age, income, gender, job category, monthly spend en el cual monthly spendestá …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

Actualmente estoy preparando una presentación para un curso universitario en "Análisis de datos visuales". Y uno de mis temas es la visualización "Star Coordinate". Coordenadas estelares A medida que Star Coordinates realiza una transformación de datos de alta dimensión, y la conocida técnica PCA también lo hace, me pregunto si …

8 data-visualization  pca  large-data 

Sé que R no es particularmente útil para analizar grandes conjuntos de datos dado que R carga todos los datos en la memoria, mientras que algo como SAS hace análisis secuenciales. Dicho esto, hay paquetes como bigmemory que permiten a los usuarios realizar análisis de datos grandes (análisis estadístico) de …

8 r  sas  large-data 

OK, no soy un estadístico (ni siquiera cerca). Soy un investigador de computación de alto rendimiento y quería algunos casos de prueba para matrices densas grandes (mayores de 5000x5000). Había preguntado aquí y en algunos otros lugares, pero nunca recibí respuesta de un estadístico. Estoy muy interesado en probar mis …

8 large-data  matrix