Preguntas etiquetadas con outliers

Supongamos que tengo un gran conjunto de datos multivariados con al menos tres variables. ¿Cómo puedo encontrar los valores atípicos? Los diagramas de dispersión por pares no funcionarán, ya que es posible que exista un valor atípico en 3 dimensiones que no es un valor atípico en ninguno de los …

94 multivariate-analysis  outliers 

En mi trabajo, a menudo trabajo con conjuntos de datos de otras personas, los no expertos me traen datos clínicos y los ayudo a resumirlos y realizar pruebas estadísticas. El problema que tengo es que los conjuntos de datos que traigo casi siempre están plagados de errores tipográficos, inconsistencias y …

93 dataset  outliers  checking 

Tenía una pregunta sobre la interpretación de las gráficas generadas por plot (lm) en R. Me preguntaba si ustedes podrían decirme cómo interpretar las gráficas de ubicación de escala y apalancamiento residual. Cualquier comentario será bienvenido. Asumir conocimientos básicos de estadística, regresión y econometría.

89 r  regression  data-visualization  residuals  outliers 

Estoy trabajando con una gran cantidad de series de tiempo. Estas series temporales son básicamente mediciones de red que se realizan cada 10 minutos, y algunas de ellas son periódicas (es decir, el ancho de banda), mientras que otras no (es decir, la cantidad de tráfico de enrutamiento). Me gustaría …

88 time-series  outliers  mathematical-statistics  real-time 

Cuando se resuelven problemas de negocios utilizando datos, es común que al menos una suposición clave de que las estadísticas clásicas no sean válidas. La mayoría de las veces, nadie se molesta en verificar esas suposiciones, por lo que nunca se sabe. Por ejemplo, que muchas de las métricas web …

82 model-selection  nonparametric  outliers  robust  philosophical 

Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Muchas veces un analista estadístico recibe un conjunto de datos y se le pide que se ajuste a un modelo utilizando una técnica como la regresión lineal. Con mucha frecuencia, el conjunto de datos va acompañado de una exención de responsabilidad similar a "Oh, sí, nos equivocamos al recopilar algunos …

73 regression  outliers 

Para un estudio de simulación tengo para generar variables aleatorias que muestran un (población) de correlación prefined a una variable existente .YYY Miré en los Rpaquetes copulay CDVineque pueden producir distribuciones aleatorias multivariadas con una estructura de dependencia dada. Sin embargo, no es posible arreglar una de las variables resultantes …

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

Estoy tratando con datos lineales con valores atípicos, algunos de los cuales están a más de 5 desviaciones estándar de la línea de regresión estimada. Estoy buscando una técnica de regresión lineal que reduzca la influencia de estos puntos. Hasta ahora, lo que hice fue estimar la línea de regresión …

50 regression  linear-model  outliers  robust  fused-lasso 

La gente a menudo habla de tratar con valores atípicos en las estadísticas. Lo que me molesta de esto es que, por lo que puedo decir, la definición de un valor atípico es completamente subjetiva. Por ejemplo, si la distribución verdadera de alguna variable aleatoria es muy pesada o bimodal, …

44 outliers  definition 

Comentarios: En primer lugar me gustaría decir un gran agradecimiento a la autora de la nueva tsoutliers paquete que implementa Chen y Liu detección de series temporales de valores atípicos que fue publicado en la Revista de la Asociación Americana de Estadística en 1993 en el software de código abierto …

35 time-series  forecasting  arima  outliers 

Busqué una manera de eliminar los valores atípicos de un conjunto de datos y encontré esta pregunta . Sin embargo, en algunos de los comentarios y respuestas a esta pregunta, las personas mencionaron que es una mala práctica eliminar los valores atípicos de los datos. En mi conjunto de datos …

33 outliers 

He leído en algunas fuentes, incluida esta , que los bosques aleatorios no son sensibles a los valores atípicos (en la forma en que lo son la regresión logística y otros métodos de LD, por ejemplo). Sin embargo, dos piezas de intuición me dicen lo contrario: Cada vez que se …

33 random-forest  bootstrap  outliers  cart 

Me encontré con este documento que usa la detección de anomalías de enlaces para predecir temas de tendencias, y lo encontré increíblemente intrigante: el documento es "Descubriendo temas emergentes en las corrientes sociales a través de la detección de anomalías de enlaces" . Me encantaría replicarlo en un conjunto de …

32 time-series  machine-learning  outliers  python  change-point 

Esta pregunta fue hecha por mi amigo que no conoce Internet. No tengo antecedentes en estadísticas y he estado buscando en internet esta pregunta. La pregunta es: ¿es posible reemplazar los valores atípicos con valor medio? si es posible, ¿hay alguna referencia de libro / revistas para respaldar esta declaración?

31 mean  outliers  robust  winsorizing