Agregue archivos enormes entre sí sin copiarlos

Hay 5 archivos enormes (archivo1, archivo2, ... archivo5) de aproximadamente 10G cada uno y un espacio libre extremadamente bajo que queda en el disco y necesito concatenar todos estos archivos en uno. No es necesario conservar los archivos originales, solo el final.

La concatenación habitual va caten secuencia para los archivos file2... file5:

cat file2 >> file1 ; rm file2

Desafortunadamente, esta forma requiere un espacio libre de al menos 10G que no tengo. ¿Hay alguna manera de concatenar archivos sin copiarlo realmente pero decirle al sistema de archivos de alguna manera que el archivo1 no termina en el archivo original1 y continúa al inicio del archivo2?

PD. el sistema de archivos es ext4 si eso importa.

AFAIK (desafortunadamente) no es posible truncar un archivo desde el principio (esto puede ser cierto para las herramientas estándar pero para el nivel de syscall ver aquí ). Pero al agregar cierta complejidad, puede usar el truncamiento normal (junto con archivos dispersos): puede escribir al final del archivo de destino sin haber escrito todos los datos intermedios.

Supongamos primero que ambos archivos son exactamente 5GiB (5120 MiB) y que desea mover 100 MiB a la vez. Ejecutas un bucle que consiste en

1. copiar un bloque desde el final del archivo de origen hasta el final del archivo de destino (aumentando el espacio de disco consumido)

2. truncar el archivo fuente en un bloque (liberando espacio en disco)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Pero pruébelo primero con archivos de prueba más pequeños, por favor ...

Probablemente los archivos no sean del mismo tamaño ni múltiplos del tamaño del bloque. En ese caso, el cálculo de las compensaciones se vuelve más complicado. seek_bytesy skip_bytesdebe usarse entonces.

Si es así, pero necesita ayuda para los detalles, pregunte nuevamente.

Advertencia

Dependiendo del ddtamaño del bloque, el archivo resultante será una pesadilla de fragmentación.

En lugar de agrupar los archivos en un solo archivo, tal vez simule un solo archivo con una tubería con nombre, si su programa no puede manejar múltiples archivos.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Como sugiere Hauke, losetup / dmsetup también pueden funcionar. Un experimento rápido Creé 'file1..file4' y con un poco de esfuerzo, hice:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Luego, / dev / dm-0 contiene un dispositivo de bloque virtual con su archivo como contenido.

No he probado esto bien.

Otra edición: el tamaño del archivo debe ser divisible de manera uniforme por 512 o perderá algunos datos. Si es así, entonces eres bueno. Veo que también notó eso a continuación.

Tendrá que escribir algo que copie datos en grupos que sean como máximo tan grandes como la cantidad de espacio libre que tenga. Debería funcionar así:

• Leer un bloque de datos de file2 (utilizando pread()mediante la búsqueda antes de la lectura en la ubicación correcta).
• Añadir el bloque a file1.
• Utilizar fcntl(F_FREESP) para desasignar el espacio desde file2.
• Repetir

Sé que es más una solución alternativa de lo que pediste, pero resolvería tu problema (y con poca fragmentación o rasguño):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

y entonces

#step 2:
cat file* > /the/new/fs/fullfile

o, si crees que la compresión ayudaría:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Entonces (y SOLO entonces), finalmente

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it