¿Es posible comprimir un archivo muy grande (~ 30 GB) usando gzip? Si es así, ¿qué comandos, interruptores y opciones debo usar?
¿O hay otro programa (preferiblemente uno comúnmente disponible en las distribuciones de Ubuntu) que pueda usar para comprimir / comprimir archivos muy grandes? ¿Tienes alguna experiencia con esto?
Respuestas:
AFAIK no hay límite de tamaño para gzip, al menos, no 30GB. Por supuesto, necesita el espacio para el archivo comprimido en su disco, ambas versiones estarán allí simultáneamente durante la compresión.
bzip2 comprime archivos (no solo los grandes :-) mejor, pero es (a veces mucho) más lento.
pbzip, que utilizará más de un núcleo de CPU. Pero aún así mucho más lento que gzip.
pbzip2
Si necesita una buena tasa de compresión, puede probar lzma. es más rápido y más eficiente que bzip2 y puede ser más rápido incluso que gzip (no lo sé con certeza)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmaestá en desuso a favor de xzahora. Mismo algoritmo, formato de archivo algo diferente (¿mejorado?) Envuelto alrededor de él. LZMA es más lento que gzip, pero a velocidad máxima sigue siendo una compresión bastante buena en cosas muy redundantes como los datos JSON. ( xz -0)
El formato gzip representa el módulo de tamaño de entrada 2 ^ 32, por lo que la
--listopción informa tamaños de compresión y relaciones de compresión incorrectas para archivos sin comprimir de 4 GB y mayores.
Entonces, tome bzip2(v1.0.2 y hacia arriba) o xz.
XZ ajustado a la compresión más baja bien puede vencer a gzip para velocidad y compresión.
pxz -9ve - <in >out.xzy hornearás un pollo en tu PC, pero el resultado será alrededor del 60% del resultado de gzip. Necesitas alrededor de 7 GB para eso.