¿Qué es la latencia P99?

¿Qué representa la latencia P99? Sigo escuchando sobre esto en las discusiones sobre el rendimiento de las aplicaciones, pero no pude encontrar un recurso en línea que hablara sobre esto.

Es el percentil 99 . Significa que el 99% de las solicitudes deberían ser más rápidas que la latencia dada. En otras palabras, solo el 1% de las solicitudes pueden ser más lentas.

Podemos explicarlo a través de una analogía, si 100 estudiantes corren una carrera, entonces 99 estudiantes deben completar la carrera en tiempo de "latencia".

Imagine que está recopilando datos de rendimiento de su servicio y la siguiente tabla es la recopilación de resultados (los valores de latencia son ficticios para ilustrar la idea).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

La latencia P99 de su servicio es 7s. Solo el 1% de las solicitudes tardan más que eso. Por lo tanto, si puede disminuir la latencia P99 de su servicio, aumentará su rendimiento.

Tomemos un ejemplo de aquí

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Entonces, podemos decir que el 99 por ciento de las solicitudes web, la latencia encontrada fue de 1.3 ms (ms / microsegundos depende de las medidas de latencia de su sistema configuradas) o inferior. Como dijo @tranmq si disminuimos la latencia P99 del servicio, podemos aumentar su rendimiento.

Y también vale la pena señalar el p95, ya que puede haber pocas solicitudes, lo que hace que p99 sea más costoso que p95, por ejemplo, las solicitudes iniciales que crean caché, el calentamiento de los objetos de clase, los subprocesos init ...

Finalmente; podemos tener aproximadamente un 1% de ruido en nuestras mediciones (como congestiones de red, interrupciones, degradaciones del servicio), por lo que la latencia p99 es un buen representante de prácticamente el peor de los casos. Y, casi siempre, nuestro objetivo es reducir la latencia p99.