Preguntas etiquetadas con large-data

Después de realizar el análisis de componentes principales (PCA), quiero proyectar un nuevo vector en el espacio PCA (es decir, encontrar sus coordenadas en el sistema de coordenadas PCA). He calculado PCA en lenguaje R usando prcomp. Ahora debería poder multiplicar mi vector por la matriz de rotación PCA. ¿Deben …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Estoy pasando algo de tiempo aprendiendo machine learning (perdón por la recursividad :) y no pude evitar sentirme intrigada por la regla general de elegir Gradient Descent sobre la resolución de ecuaciones directas para calcular los coeficientes de regresión, en el caso de la regresión lineal multivariada. Regla general: si …

18 machine-learning  multiple-regression  large-data 

He estado usando SAS profesionalmente durante casi 5 años. Lo tengo instalado en mi computadora portátil y con frecuencia tengo que analizar conjuntos de datos con 1,000-2,000 variables y cientos de miles de observaciones. He estado buscando alternativas a SAS que me permitan realizar análisis en conjuntos de datos de …

18 r  sas  large-data 

Debido al factorial en una distribución de Poisson, resulta poco práctico estimar los modelos de Poisson (por ejemplo, utilizando la máxima probabilidad) cuando las observaciones son grandes. Entonces, por ejemplo, si estoy tratando de estimar un modelo para explicar el número de suicidios en un año determinado (solo hay datos …

17 modeling  poisson-distribution  large-data 

Tengo un pequeño problema que me está volviendo loco. Tengo que escribir el procedimiento para un proceso de adquisición en línea de una serie de tiempo multivariante. En cada intervalo de tiempo (por ejemplo, 1 segundo), obtengo una nueva muestra, que es básicamente un vector de coma flotante de tamaño …

16 algorithms  quantiles  online  large-data 

Recientemente hice un análisis de los efectos de la reputación en los votos a favor (ver la publicación del blog ), y posteriormente tuve algunas preguntas sobre análisis y gráficos posiblemente más esclarecedores (o más apropiados). Entonces, algunas preguntas (y siéntase libre de responder a cualquiera en particular e ignorar …

15 data-visualization  large-data  fixed-effects-model 

Estoy trabajando en un proyecto que involucra 14 variables y 345,000 observaciones para datos de vivienda (cosas como año de construcción, pies cuadrados, precio de venta, condado de residencia, etc.). Me preocupa tratar de encontrar buenas técnicas gráficas y bibliotecas R que contengan buenas técnicas de trazado. Ya estoy viendo …

15 r  data-visualization  large-data  eda 

Mi pregunta podría reformularse como "cómo evaluar un error de muestreo utilizando grandes datos", especialmente para una publicación de revista. Aquí hay un ejemplo para ilustrar un desafío. De un conjunto de datos muy grande (> 100000 pacientes únicos y sus medicamentos recetados de 100 hospitales), me interesó estimar una …

14 confidence-interval  large-data  reporting 

Tradicionalmente utilizamos modelos mixtos para modelar datos longitudinales, es decir, datos como: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 podemos suponer intercepción aleatoria o pendiente para diferentes …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

Soy nuevo en ciencia de datos y tengo problemas para encontrar clústeres en un conjunto de datos con 200,000 filas y 50 columnas en R. Dado que los datos tienen variables tanto numéricas como nominales, los métodos como K-means que usa la medida de distancia euclidiana no parecen ser una …

13 r  clustering  sampling  large-data 

Digamos que nuestro conjunto de datos contiene 1 millón de ejemplos, es decir, , y deseamos utilizar el descenso de gradiente para realizar una regresión logística o lineal en este conjunto de datos.X1, ... , x106 6x1,…,x106x_1, \ldots, x_{10^6} ¿Qué pasa con el método de descenso de gradiente que lo …

13 machine-learning  gradient-descent  large-data 

Con el conocimiento limitado que tengo sobre SVM, es bueno para una matriz de datos corta y gruesa (muchas características, y no demasiadas instancias), pero no para grandes datos.XXX Entiendo que una razón es que Kernel Matrix es una matriz donde, es el número de instancias en los datos. Si …

13 machine-learning  svm  large-data 

Estoy trabajando en un problema de regresión lineal muy grande, con un tamaño de datos tan grande que deben almacenarse en un grupo de máquinas. Será demasiado grande para agregar todas las muestras en la memoria de una sola máquina (incluso el disco) Para hacer la regresión de estos datos, …

13 regression  linear  large-data 

Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Recopilo muestras muy grandes (> 1,000,000) de datos categóricos cada día y quiero ver que los datos se vean "significativamente" diferentes entre días para detectar errores en la recopilación de datos. Pensé que usar una prueba de buen ajuste (en particular, una prueba G) sería un buen ajuste (juego de …

12 goodness-of-fit  large-data