acelerar la compresión gzip

¿Es posible acelerar el gzipproceso?

Estoy usando

mysqldump "$database_name" | gzip > $BACKUP_DIR/$database_name.sql.gz

para hacer una copia de seguridad de una base de datos en un directorio $BACKUP_DIR,.

la página del manual dice:

- # --fast --best
Regula la velocidad de compresión usando el dígito especificado #, donde -1 o --fast indica el método de compresión más rápido (menos compresión) y -9 o --best indica el método de compresión más lento ( mejor compresión). El nivel de compresión predeterminado es -6 (es decir, sesgado hacia una compresión alta a expensas de la velocidad).

• ¿Qué tan efectivo sería usar --fast?
• ¿Está esto efectivamente reduciendo el uso de la CPU en una computadora moderna?

Los resultados de mi prueba

No noté ninguna aceleración:

• 7 min, 47 segundos (con relación predeterminada -6)
• 8 min, 36 segundos (con relación --fast(= 9))

Entonces, ¿parece que lleva más tiempo usar la compresión rápida?

Solo una compresión más alta realmente lo ralentiza:

• 11 min, 57 segundos (con relación --best(= 1))

Después de obtener la Idea, también lzoplo probé y realmente es más rápido:

• 6 min, 14 segundos con lzop -1 -f -o $BACKUP_DIR/$database_name.sql.lzo

Si tiene una máquina multinúcleo que usa pigz es mucho más rápido que el gzip tradicional.

pigz, que significa implementación paralela de gzip, es un reemplazo completamente funcional para gzip que explota múltiples procesadores y múltiples núcleos hasta el fondo cuando se comprimen datos. Pigz fue escrito por Mark Adler y utiliza las bibliotecas zlib y pthread.

Pigz se puede usar como un reemplazo directo para gzip. Tenga en cuenta que solo la compresión puede ser paralelizada, no la descompresión.

Usando pigz la línea de comando se convierte

mysqldump "$database_name" | pigz > $BACKUP_DIR/$database_name.sql.gz

De man gzip:

   -# --fast --best
          Regulate  the  speed  of compression using the
          specified digit #, where -1  or  --fast  indi‐
          cates  the  fastest  compression  method (less
          compression) and -9 or  --best  indicates  the
          slowest compression method (best compression).
          The default compression level is -6 (that  is,
          biased  towards high compression at expense of
          speed).

Si necesita que sea rápido debido a problemas de bloqueo de la base de datos, y tiene un disco lo suficientemente rápido / grande como para contener los datos sin comprimir temporalmente, puede considerar usar este método en su lugar:

mysqldump "$database_name" > "$BACKUP_DIR"/"$database_name".sql
nice gzip "$BACKUP_DIR"/"$database_name".sql &

Es decir, almacene primero la copia de seguridad (que es más rápida que comprimirla SI el disco es rápido y la CPU es lenta) y luego haga que la compresión ocurra en segundo plano.

Esto también podría permitirle usar un mejor algoritmo de compresión, ya que ya no importa (directamente) cuánto tiempo lleva la compresión.