Preguntas etiquetadas con missing-data

Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Estoy tratando de detectar valores anómalos en una serie temporal de datos climáticos con algunas observaciones faltantes. Al buscar en la web encontré muchos enfoques disponibles. De ellos, la descomposición stl parece atractiva, en el sentido de eliminar la tendencia y los componentes estacionales y estudiar el resto. Lectura STL: …

12 r  time-series  outliers  missing-data 

Hay una variable en mis datos que tiene el 80% de los datos faltantes. Faltan los datos debido a la inexistencia (es decir, cuánto préstamo bancario debe la empresa). Me encontré con un artículo que decía que el método de ajuste variable ficticio es la solución para este problema. ¿Significa …

12 missing-data 

Mi pregunta está dirigida a técnicas para tratar datos incompletos durante el clasificador / entrenamiento modelo / ajuste. Por ejemplo, en un conjunto de datos con unos cientos de filas, cada fila tiene cinco dimensiones y una etiqueta de clase como último elemento, la mayoría de los puntos de datos …

12 missing-data 

Tengo este gran conjunto de datos con 2500 variables y 142 observaciones. Quiero ejecutar una correlación entre la Variable X y el resto de las variables. Pero para muchas columnas, faltan entradas. Traté de hacer esto en R usando el argumento "pairwise-complete" ( use=pairwise.complete.obs) y arrojó un montón de correlaciones. …

12 r  correlation  missing-data  correlation-matrix 

Estoy usando "glmnet" para la regresión de lazo en GWAS. Algunas variantes e individuos tienen valores perdidos y parece que glmnet no puede manejar los valores perdidos. ¿Hay alguna solución para esto? ¿O hay otro paquete que pueda manejar los valores faltantes en la regresión de lazo? Aquí están mis …

12 missing-data  lasso  glmnet 

Intenté un método de pronóstico y quiero verificar si mi método es correcto o no. Mi estudio compara diferentes tipos de fondos mutuos. Quiero usar el índice GCC como punto de referencia para uno de ellos, pero el problema es que el índice GCC se detuvo en septiembre de 2011 …

12 time-series  forecasting  missing-data 

Nunca he encontrado ningún buen texto o ejemplos sobre cómo manejar datos 'inexistentes' para entradas a cualquier tipo de clasificador. He leído mucho sobre datos faltantes, pero qué se puede hacer sobre los datos que no pueden existir o no existen en relación con las entradas multivariadas. Entiendo que esta …

11 missing-data 

Tengo el siguiente problema: - Tenemos un conjunto de N personas - Tenemos un conjunto de imágenes K - Cada persona califica cierto número de imágenes. A una persona le puede gustar o no una imagen (estas son las dos únicas posibilidades). - El problema es cómo calcular la probabilidad …

11 missing-data  rating 

Recientemente he revisado el algoritmo XGBoost y he notado que este algoritmo puede manejar datos faltantes (sin requerir imputación) en la fase de entrenamiento. Me preguntaba si XGboost puede manejar los datos faltantes (sin requerir imputación) cuando se usa para pronosticar nuevas observaciones o si es necesario imputar los datos …

11 machine-learning  missing-data  data-imputation  xgboost 

El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por qué te(x1, x2)y ti(x1) + ti(x2) …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Tengo un problema al usar el 2l.normmétodo de imputación multinivel en mice. Lamentablemente, no puedo publicar un ejemplo reproducible debido al tamaño de mis datos; cuando reduzco el tamaño, el problema desaparece. Para una variable particular, miceproduce los siguientes errores y advertencias: Error in chol.default(inv.sigma2[class] * X.SS[[class]] + inv.psi) : …

11 r  missing-data  multiple-imputation  mice 

¿La ponderación basada en la precisión es central para el metanálisis? Borenstein y col. (2009) escriben que para que el metanálisis sea posible, todo lo que se necesita es que: Los estudios informan una estimación puntual que se puede expresar como un solo número. La varianza se puede calcular para …

10 variance  sample-size  missing-data  meta-analysis 

Me pregunto si alguien podría proporcionar una idea de por qué es mejor una imputación de datos faltantes que simplemente construir diferentes modelos para casos con datos faltantes. Especialmente en el caso de modelos lineales [generalizados] (tal vez pueda ver en casos no lineales que las cosas son diferentes) Supongamos …

10 regression  missing-data  data-imputation 

Tengo un GLMM de la forma: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Cuando lo uso drop1(model, test="Chi"), obtengo resultados diferentes a los que uso Anova(model, type="III")del paquete del automóvil o summary(model). Estos dos últimos dan las mismas respuestas. Usando un montón de …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion