Dividir archivos usando tar, gz, zip o bzip2 [cerrado]

Necesito comprimir un archivo grande de aproximadamente 17-20 GB. Necesito dividirlo en varios archivos de alrededor de 1 GB por archivo.

Busqué una solución a través de Google y encontré formas de usar splity catcomandos. Pero no funcionaron para archivos grandes en absoluto. Además, no funcionarán en Windows; Necesito extraerlo en una máquina con Windows.

Puede usar el splitcomando con la -bopción:

split -b 1024m file.tar.gz

Se puede volver a montar en una máquina con Windows utilizando la respuesta de @ Joshua .

copy /b file1 + file2 + file3 + file4 filetogether

Editar : como dijo @Charlie en el comentario a continuación, es posible que desee establecer un prefijo explícitamente porque usará lo xcontrario, lo que puede ser confuso.

split -b 1024m "file.tar.gz" "file.tar.gz.part-"

// Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, ...

Editar : Editar la publicación porque la pregunta está cerrada y la solución más efectiva está muy cerca del contenido de esta respuesta:

# create archives
$ tar cz my_large_file_1 my_large_file_2 | split -b 1024MiB - myfiles_split.tgz_
# uncompress
$ cat myfiles_split.tgz_* | tar xz

Esta solución evita la necesidad de utilizar un archivo grande intermedio al (des) comprimir. Use la opción tar -C para usar un directorio diferente para los archivos resultantes. Por cierto, si el archivo consta de un solo archivo, se podría evitar tar y solo se usaría gzip:

# create archives
$ gzip -c my_large_file | split -b 1024MiB - myfile_split.gz_
# uncompress
$ cat myfile_split.gz_* | gunzip -c > my_large_file

Para Windows, puede descargar versiones portadas de los mismos comandos o usar cygwin.

Si se está separando de Linux, aún puede volver a ensamblar en Windows.

copy /b file1 + file2 + file3 + file4 filetogether

usar tar para dividir en múltiples archivos

Hay muchos programas que funcionarán con archivos tar en Windows, incluido Cygwin.

El código probado, inicialmente crea un único archivo de almacenamiento, luego lo divide:

 gzip -c file.orig > file.gz
 CHUNKSIZE=1073741824
 PARTCNT=$[$(stat -c%s file.gz) / $CHUNKSIZE]

 # the remainder is taken care of, for example for
 # 1 GiB + 1 bytes PARTCNT is 1 and seq 0 $PARTCNT covers
 # all of file
 for n in `seq 0 $PARTCNT`
 do
       dd if=file.gz of=part.$n bs=$CHUNKSIZE skip=$n count=1
 done

Esta variante omite la creación de un solo archivo de almacenamiento y va directamente a la creación de partes:

gzip -c file.orig |
    ( CHUNKSIZE=1073741824;
        i=0;
        while true; do
            i=$[i+1];
            head -c "$CHUNKSIZE" > "part.$i";
            [ "$CHUNKSIZE" -eq $(stat -c%s "part.$i") ] || break;
        done; )

En esta variante, si el tamaño del archivo del archivo es divisible por $CHUNKSIZE, entonces el último archivo parcial tendrá un tamaño de archivo de 0 bytes.