Cómo eliminar valores atípicos de un conjunto de datos

Tengo algunos datos multivariados de belleza frente a edades. Las edades van de 20 a 40 a intervalos de 2 (20, 22, 24 ... 40), y para cada registro de datos, se les asigna una edad y una calificación de belleza de 1 a 5. Cuando hago diagramas de caja de estos datos (edades en el eje X, calificaciones de belleza en el eje Y), hay algunos valores atípicos trazados fuera de los bigotes de cada caja.

Quiero eliminar estos valores atípicos del marco de datos en sí, pero no estoy seguro de cómo R calcula los valores atípicos para sus diagramas de caja. A continuación se muestra un ejemplo de cómo podrían verse mis datos.

Bien, deberías aplicar algo como esto a tu conjunto de datos. ¡No reemplace ni guarde o destruirá sus datos! Y, por cierto, (casi) nunca debe eliminar los valores atípicos de sus datos:

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

Para verlo en acción:

set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

Y una vez más, nunca debe hacer esto por su cuenta, ¡los valores atípicos están destinados a ser! =)

EDITAR: agregué na.rm = TRUEpor defecto.

EDIT2:quantile función eliminada , subíndice agregado, ¡por lo tanto, hizo que la función sea más rápida! =)

Nadie ha publicado la respuesta más simple:

x[!x %in% boxplot.stats(x)$out]

Vea también esto: http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

Úselo outline = FALSEcomo una opción cuando haga el diagrama de caja (¡lea la ayuda!)

> m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

La función de diagrama de caja devuelve los valores utilizados para realizar el trazado (que en realidad se realiza mediante bxp ():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

A propósito, no respondí a la pregunta específica porque considero que eliminar los "valores atípicos" es una mala práctica estadística. Considero que es una práctica aceptable no trazarlos en un diagrama de caja, pero eliminarlos solo porque exceden cierto número de desviaciones estándar o cierto número de anchos intercuartiles es una alteración sistemática y poco científica del registro de observación.

Busqué paquetes relacionados con la eliminación de valores atípicos y encontré este paquete (¡sorprendentemente llamado "outliers"!): Https://cran.r-project.org/web/packages/outliers/outliers.pdf
si lo revisa, vea diferentes formas de eliminar valores atípicos y entre ellos encontré la rm.outliermás conveniente de usar y, como dice en el enlace anterior: "Si el valor atípico se detecta y confirma mediante pruebas estadísticas, esta función puede eliminarlo o reemplazarlo por la media o mediana de la muestra" y también aquí está la parte de uso de la misma fuente:
" Uso

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE)

Argumentos
x un conjunto de datos, con mayor frecuencia un vector. Si el argumento es un marco de datos, sapply elimina los valores atípicos de cada columna. El mismo comportamiento se aplica aplicando cuando se da la matriz.
llenar Si se establece en VERDADERO, la mediana o media se coloca en lugar de un valor atípico. De lo contrario, los valores atípicos simplemente se eliminan.
mediana Si se establece en VERDADERO, se usa la mediana en lugar de la media en el reemplazo de valores atípicos. opuesto si se establece en VERDADERO, da el valor opuesto (si el valor más grande tiene la diferencia máxima de la media, da el más pequeño y viceversa) "

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99))
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],]

Encuentro esto muy fácil de eliminar los valores atípicos. En el ejemplo anterior, solo estoy extrayendo del percentil 2 al percentil 98 de los valores de los atributos.

No lo haría:

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
        df$x < quantile(df$x, .75) + 1.5*IQR(df$x), ] #rows

realizar esta tarea con bastante facilidad?

Agregando a la sugerencia de @sefarkas y usando cuantil como puntos de corte, se podría explorar la siguiente opción:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .99))[1]) ) 

Esto eliminará los puntos más allá del cuantil 99. Se debe tener cuidado como lo que decía aL3Xa acerca de mantener valores atípicos. Debe eliminarse solo para obtener una vista conservadora alternativa de los datos.

1 forma de hacerlo es

my.NEW.data.frame <- my.data.frame[-boxplot.stats(my.data.frame$my.column)$out, ]

o

my.high.value <- which(my.data.frame$age > 200 | my.data.frame$age < 0) 
my.NEW.data.frame <- my.data.frame[-my.high.value, ]

Los valores atípicos son bastante similares a los picos, por lo que un detector de picos puede ser útil para identificar valores atípicos. El método descrito aquí tiene un rendimiento bastante bueno usando puntuaciones z. La animación en la parte inferior de la página ilustra el método que señala valores atípicos o picos.

Los picos no siempre son los mismos que los valores atípicos, pero son similares con frecuencia.

A continuación se muestra un ejemplo: este conjunto de datos se lee desde un sensor a través de comunicaciones en serie. Los errores ocasionales de comunicación en serie, errores del sensor o ambos conducen a puntos de datos repetidos y claramente erróneos. No hay valor estadístico en estos puntos. Podría decirse que no son valores atípicos, son errores. El detector de picos de puntuación z pudo señalar en puntos de datos falsos y generó un conjunto de datos resultante limpio:

Prueba esto. Alimente su variable en la función y guarde el o / p en la variable que contendría valores atípicos eliminados

outliers<-function(variable){
    iqr<-IQR(variable)
    q1<-as.numeric(quantile(variable,0.25))
    q3<-as.numeric(quantile(variable,0.75))
    mild_low<-q1-(1.5*iqr)
    mild_high<-q3+(1.5*iqr)
    new_variable<-variable[variable>mild_low & variable<mild_high]
    return(new_variable)
}