La forma más rápida de calcular el tamaño sin comprimir de un archivo GZIPPED grande

Una vez que se comprime un archivo, ¿hay alguna forma de consultarlo rápidamente para decir cuál es el tamaño del archivo sin comprimir (sin descomprimirlo), especialmente en los casos en que el archivo sin comprimir tiene un tamaño> 4 GB.

De acuerdo con la RFC https://tools.ietf.org/html/rfc1952#page-5 , puede consultar los últimos 4 bytes del archivo, pero si el archivo sin comprimir era> 4 GB, entonces el valor solo representa eluncompressed value modulo 2^32

Este valor también se puede recuperar ejecutando gunzip -l foo.gz, sin embargo, la columna "sin comprimir" solo contiene uncompressed value modulo 2^32nuevamente, presumiblemente porque está leyendo el pie de página como se describe anteriormente.

Me preguntaba si hay una manera de obtener el tamaño del archivo sin comprimir sin tener que descomprimirlo primero, esto sería especialmente útil en el caso de que los archivos comprimidos contengan más de 50 GB de datos y tomaría un tiempo descomprimirlos usando métodos como gzcat foo.gz | wc -c

EDITAR: la limitación de 4 GB se reconoce abiertamente en la manpágina de la gziputilidad incluida con OSX ( Apple gzip 242)

  BUGS
    According to RFC 1952, the recorded file size is stored in a 32-bit
    integer, therefore, it can not represent files larger than 4GB. This
    limitation also applies to -l option of gzip utility.

Creo que la forma más rápida es modificar gzippara que las pruebas en modo detallado generen la cantidad de bytes descomprimidos; en mi sistema, con un archivo de 7761108684 bytes, obtengo

% time gzip -tv test.gz
test.gz:     OK (7761108684 bytes)
gzip -tv test.gz  44.19s user 0.79s system 100% cpu 44.919 total

% time zcat test.gz| wc -c
7761108684
zcat test.gz  45.51s user 1.54s system 100% cpu 46.987 total
wc -c  0.09s user 1.46s system 3% cpu 46.987 total

Para modificar gzip (1.6, como está disponible en Debian), el parche es el siguiente:

--- a/gzip.c
+++ b/gzip.c
@@ -61,6 +61,7 @@
 #include <stdbool.h>
 #include <sys/stat.h>
 #include <errno.h>
+#include <inttypes.h>

 #include "closein.h"
 #include "tailor.h"
@@ -694,7 +695,7 @@

     if (verbose) {
         if (test) {
-            fprintf(stderr, " OK\n");
+            fprintf(stderr, " OK (%jd bytes)\n", (intmax_t) bytes_out);

         } else if (!decompress) {
             display_ratio(bytes_in-(bytes_out-header_bytes), bytes_in, stderr);
@@ -901,7 +902,7 @@
     /* Display statistics */
     if(verbose) {
         if (test) {
-            fprintf(stderr, " OK");
+            fprintf(stderr, " OK (%jd bytes)", (intmax_t) bytes_out);
         } else if (decompress) {
             display_ratio(bytes_out-(bytes_in-header_bytes), bytes_out,stderr);
         } else {

Si necesita el tamaño de un archivo comprimido o conjunto de archivos, lo mejor es usar tar -zo tar -jen lugar de gzipque tarincluye el tamaño de los archivos sin comprimir. Use lesspipepara echar un vistazo a la lista de archivos:

aptitude install lesspipe
lesspipe <compressed file> | less

Si lessestá configurado para usar lesspipe:

less <compressed file>

Sin embargo, tenga en cuenta que puede llevar mucho tiempo. Sin embargo, su sistema sigue respondiendo, lo que le permite matar el proceso de descompresión.

Otro enfoque sería registrar la relación comprimida y consultar ese archivo [texto] en su lugar:

gzip --verbose file 2>&1 | tee file.gz.log
file:    64.5% -- replaced with file.gz

Sin embargo, requiere un cálculo para encontrar el tamaño real del archivo.

También podría hacer lo mismo tar, que de hecho es lo que hago con las copias de seguridad de gran tamaño, ya que impide ejecutar todo el proceso de descompresión para obtener solo un tamaño o nombre de archivo, por ejemplo.

Qué pasa

gzip -l file.gz|tail -n1|awk '{print $2}'

numfmt --to=iec $(gzip -l file.gz|tail -n1|awk '{print $2}')

gunzip -c $file | wc -c

Esto llevará mucho tiempo, pero le dará el tamaño final en bytes.