Compresión de archivos grandes.

Estoy tratando de comprimir grandes conjuntos de datos (de 15 a 400 GB cada uno). Estoy buscando el mejor software de compresión para Mac que tenga

Alta tasa de compresión.
Es rápido

He probado 7zX, que tiene una excelente tasa de compresión en la configuración Ultra, pero es muy lento. Me pregunto si puedo cambiar la configuración para que

usa todos los núcleos que tengo
la RAM máxima
y CPU máxima.

Entonces puedo acortar ese tiempo. O si hay otro software que ofrece esta opción. Por supuesto, si alguien puede recomendar un software mejor, me alegraría saberlo.

También sobre flujos de trabajo sobre cómo lidiar con archivos grandes que necesitan ser comprimidos / descomprimidos más tarde.

Gracias.

software-rec compression

— dígito
fuente

Algunos algoritmos son notoriamente más eficientes en espacio o tiempo que otros, pero no existe el mejor software de compresión. Como mínimo, deberá especificar de qué tipo de datos estamos hablando, preferiblemente publicando una muestra.

— Marca Thomas el

principalmente video, imágenes y datos con muchos (!) archivos pequeños

— dígito

Video comprimido o sin comprimir, imágenes comprimidas o sin comprimir, ¿qué tipo de datos, archivos de texto o binarios? Si los videos y las imágenes ya están comprimidos (por ejemplo, MPEG 4 y JPEG), optaría por la compresión más rápida (pigz sería un candidato), ya que no ganará mucho.

— Marco

Parece que quieres usar 7z y solo espera a que termine. Por supuesto, usted entiende que cualquier tipo de compresión significa que también debe descomprimir los archivos, ¿verdad? En otras palabras, en un tamaño tan pequeño, es posible que solo desee almacenar los datos sin procesar. Aunque la compresión puede darle una cosa, necesita verificación de datos de que el archivo no está dañado.

— Ramhound

todo sin comprimir

— dígito

Hay versiones de bzip ( pigz ) y bzip2 ( pbzip2 ) que son multiproceso. Ambos utilizarán el 100% de todos los núcleos.

Usar la RAM máxima no tiene sentido y los algoritmos tomarán todo lo necesario para ejecutarse, no más.

El mejor algoritmo depende de su caso de uso y datos, pero pigz probablemente será uno de los más rápidos y 7z uno de los más lentos, pero con una mejor relación de compresión.

— Marco
fuente

pigz es muy rápido, pero la compresión no es excelente (incluso en comp. nivel 7) y si no especifico un archivo, pero un directorio no se comprime y obtengo: "es un directorio - skipping".

— dígito

El algoritmo más rápido probablemente nunca será el que tenga la mejor relación. No existe un algoritmo todo en uno adecuado para todo. bzip y pbzip2 (incluidas las variantes de subprocesos múltiples) son herramientas de compresión pura, no crean archivos. Puede usar tar ( tar cf directory.tar <directory>) para crear primero un archivo comprimido y luego ejecutar pigz en el archivo tar.

— Marco