Cálculo del percentil 95: comparación de los enfoques de distribución normal, cuantil R y Excel

Estaba tratando de calcular el percentil 95 en el siguiente conjunto de datos. Encontré algunas referencias en línea de hacerlo.

Enfoque 1: basado en datos de muestra

El primero me dice que obtenga el TOP 95 Percentconjunto de datos y luego elija el MINo AVGdel conjunto resultante. Hacerlo para el siguiente conjunto de datos me da:

AVG: 29162
MIN: 0

Enfoque 2: Asumir distribución normal

El segundo dice que el percentil 95 es aproximadamente dos desviaciones estándar por encima de la media (que entiendo) y realicé:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

Enfoque 3: R Cuantil

Solía Robtener el percentil 95:

> quantile(data$V1, 0.95)
79515.2

Enfoque 4: Enfoque de Excel

Finalmente, me encontré con este , que explica cómo lo hace Excel. El resumen del método es el siguiente:

Dado un conjunto de Nvalores ordenados {v[1], v[2], ...}y un requisito para calcular el pthpercentil, haga lo siguiente:

Calcular l = p(N-1) + 1
Dividir len componentes enteros y decimales, es decirl = k + d
Calcule el valor requerido como V = v[k] + d(v[k+1] - v[k])

Este método me da 79515.2

Ninguno de los valores coincide, aunque confío en que el valor de R es el correcto (también lo observé desde el diagrama de ecdf). Mi objetivo es calcular el percentil 95 manualmente (usando solo AVGy STDEVfunciones) a partir de un conjunto de datos determinado y no estoy realmente seguro de lo que está sucediendo aquí. ¿Alguien puede decirme dónde me estoy equivocando?

r dataset quantiles sql

— Leyenda
fuente

Su primer enfoque debe reescribirse: podría ser "tomar el 5% superior de los valores y encontrar el mínimo de ellos", en este caso 79586, o "tomar el 95% inferior y encontrar el máximo de ellos", en este caso 79535.

— Henry

El primer enfoque es completamente incorrecto y no tiene nada que ver con el percentil 95, en mi opinión.

El segundo enfoque parece estar basado en la suposición de que los datos se distribuyen normalmente, pero debería ser aproximadamente 1.645 desviaciones estándar por encima de la media, no 2 desviaciones estándar, y parece que se dio cuenta de esto. Este es un método deficiente si los datos no se distribuyen normalmente.

Si desea calcular el percentil 95 usted mismo, ordene los números de menor a mayor y encuentre un valor tal que el 95% de los datos esté por debajo de ese valor. R probablemente usa algún tipo de interpolación entre puntos de datos. Una aproximación simple podría ser sort(data$V1)[0.95*length(data$V1)].

Editado después del comentario de @Macro.

— mark999
fuente

su solución requeriría data$V1ser ordenada previamente. En términos más generales, sort(data$V1)[.95*length(data$V1)]sería la aproximación que desea. Sin embargo, si .95*length(data$V1)no es un entero, simplemente se redondeará al entero más cercano al indexar sort(data$V1), por lo que esta aproximación siempre se subestimaría en ese caso.

— Macro

Gracias por tu comentario. Sabía sobre la subestimación, por eso lo llamé una aproximación simple, pero olvidé incluir la clasificación. Editaré la respuesta.

— mark999

Aquí hay algunos puntos para complementar la respuesta de @ mark999.

Wikipedia tiene un artículo sobre percentiles donde se observa que no existe una definición estándar de un percentil. Sin embargo, se discuten varias fórmulas.
Crawford, J .; Garthwaite, P. y Slick, D. Sobre las normas de percentiles en neuropsicología: estándares y métodos de informes propuestos para cuantificar la incertidumbre sobre los rangos de percentiles de los puntajes de las pruebas. The Clinical Neuropsychologist, Psychology Press, 2009, 23, 1173-1195 ( PDF GRATIS ) discute cálculo de percentiles dentro de un contexto normativo de psicología.

Lo siguiente explora algunas cosas en R:

Obtenga datos y examine la función cuantil R

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) muestra que R tiene nueve algoritmos de estimación cuantil diferentes.
La otra salida muestra el valor estimado para los 9 algoritmos y la proporción de los datos que es menor o igual que el valor estimado (es decir, todos los valores están cerca del 95%).

Comparar con asumir una distribución normal

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

Se estima un valor muy diferente para el percentil 95 de una distribución normal en función de la media muestral y la desviación estándar.
El valor estimado es de alrededor del percentil 84 de los datos de la muestra.
El gráfico a continuación muestra que los datos claramente no se distribuyen normalmente y, por lo tanto, las estimaciones basadas en el supuesto de que la normalidad estarán muy lejos.

trama (densidad (x))

ingrese la descripción de la imagen aquí

— Jeromy Anglim
fuente

ha proporcionado una muy buena respuesta. Solo agregaría que me parece que en la mayoría de los casos, las diferencias entre las 9 estimaciones son tan pequeñas que importan muy poco.

— Peter Flom - Restablece a Monica

El artículo de Wikipedia sobre cuantiles es mejor que el de percentiles

— Henry

Algo está mal aquí, ya que R debería dar números entre 75500 y 75600. ¿Se perdieron algunos de los valores de 1345?

— Henry

@ Henry gracias por eso. En mi intento de minimizar el número de líneas que se muestran para ingresar la pregunta, coloqué el comando c (...) solo en un par de líneas. Como resultado, creo que encontré alguna forma de límite de longitud de línea de comando que estaba cortando algunos de los datos. Nunca había visto este problema antes porque generalmente tenía esos datos en un archivo separado. He actualizado mi script y la salida para que el comando c (...) ahora abarque 120 líneas; ver gist gist.github.com/1102127

— Jeromy Anglim

+1 Gracias por la información adicional. Justo cuando publicaste esto, por curiosidad, estaba mirando la distribución usando un diagrama QQ y llegué a la misma conclusión. Gracias por tu tiempo.

— Leyenda