¿Cómo borrar el espacio no utilizado con ceros? (ext3, ext4)

Estoy buscando algo más inteligente que

cat /dev/zero > /mnt/X/big_zero ; sync; rm /mnt/X/big_zero

Al igual que FSArchiver está buscando "espacio usado" e ignora el sitio no utilizado, pero opuesto.

Propósito: Me gustaría comprimir las imágenes de partición, por lo que se recomienda llenar el espacio no utilizado con ceros.

Por cierto. Para btrfs: borre el espacio no utilizado con ceros (btrfs)

Tal utilidad es zerofree.

De su descripción:

Zerofree encuentra los bloques no asignados, no puestos a cero en un sistema de archivos ext2 o ext3 y los llena con ceros. Esto es útil si el dispositivo en el que reside este sistema de archivos es una imagen de disco. En este caso, dependiendo del tipo de imagen de disco, una utilidad secundaria puede reducir el tamaño de la imagen de disco después de ejecutar zerofree. Zerofree requiere que el sistema de archivos esté desmontado o montado de solo lectura.

La forma habitual de lograr el mismo resultado (poner a cero los bloques no utilizados) es ejecutar "dd", cree un archivo lleno de ceros que ocupe todo el espacio libre en la unidad y luego elimine este archivo. Esto tiene muchas desventajas, que zerofree alivia:

• es lento
• hace que la imagen del disco (temporalmente) crezca al máximo
• (temporalmente) usa todo el espacio libre en el disco, por lo que otras acciones de escritura concurrentes pueden fallar.

Zerofree ha sido escrito para ejecutarse desde sistemas GNU / Linux instalados como SO invitados dentro de una máquina virtual. Si este no es su caso, es casi seguro que no necesite este paquete.

ACTUALIZACIÓN # 1

La descripción del paquete .deb contiene el siguiente párrafo ahora, lo que implicaría que esto también funcionará bien con ext4.

Descripción: cero bloques libres de los sistemas de archivos ext2, ext3 y ext4 Zerofree encuentra los bloques no asignados con contenido de valor distinto de cero en un sistema de archivos ext2, ext3 o ext4 y los llena con ceros ...

Otros usos

Otra aplicación de esta utilidad es comprimir imágenes de disco que son una copia de seguridad de un disco real. Un ejemplo típico de esto es el volcado de la tarjeta SD en un BeagleBone o un Raspberry Pi. Una vez que los espacios vacíos se han puesto a cero, las imágenes de respaldo se pueden comprimir de manera más eficiente.

Resumen de los métodos (como se menciona en esta pregunta y en otras partes) para limpiar el espacio no utilizado en ext2 / ext3 / ext4:

Poner a cero el espacio no utilizado

El sistema de archivos no está montado

• Si el "disco" en el que se encuentra su sistema de archivos es de aprovisionamiento delgado (por ejemplo, un SSD moderno que admite TRIM, un archivo VM cuyo formato admite escasez, etc.) y su núcleo dice que el dispositivo de bloque lo entiende, puede usarlo e2fsck -E discard src_fspara descartar el espacio no utilizado (requiere e2fsprogs 1.42.2 o superior).
• Usar zerofree (p zerofree src_fs. Ej. ) Para escribir explícitamente ceros sobre bloques no utilizados.
• Utilizando e2image -rap src_fs dest_fssolo para copiar bloques en uso (el nuevo sistema de archivos debe estar en un "disco" puesto a cero, requiere e2fsprogs 1.42.9 o superior).

El sistema de archivos está montado

• Si el "disco" en el que se encuentra su sistema de archivos es de aprovisionamiento delgado (por ejemplo, un SSD moderno que admite TRIM, un archivo VM cuyo formato admite escasez, etc.), su kernel dice que el dispositivo de bloque lo comprende y finalmente el controlador del sistema de archivos ext lo admite, puede usarlo fstrim /mnt/fs/pedirle al sistema de archivos que descarte el espacio no utilizado.
• Usando cat /dev/zero > /mnt/fs/zeros; sync; rm /mnt/fs/zeros( sfilldesde secure-delete usa esta técnica). Este método es ineficiente, no recomendado por Ted Ts'o (autor de ext4), puede no poner a cero ciertas cosas y puede ralentizar el futuro fsck.

Tener el sistema de archivos desmontado dará mejores resultados que tenerlo montado. El descarte tiende a ser el método más rápido cuando se necesita poner a cero una gran cantidad de espacio utilizado anteriormente, pero usarlo zerofreedespués del proceso de descarte a veces puede poner un poco más a cero (dependiendo de cómo se implemente el descarte en el "disco").

Hacer el archivo de imagen más pequeño

La imagen está en un formato VM dedicado

Necesitará usar una herramienta de imagen de disco adecuada (como qemu-img convert src_image dst_image) para permitir que se recupere el espacio a cero y para que el archivo que representa la imagen se vuelva más pequeño.

La imagen es un archivo sin procesar

Se puede usar una de las siguientes técnicas para hacer que el archivo sea escaso (por lo que las ejecuciones de cero dejan de ocupar espacio):

• cp --sparse=always src_image dst_image.
• fallocate -d src_image (requiere util-linux v2.25 o superior).

En estos días, podría ser más fácil usar una herramienta como virt-sparsify para realizar estos pasos y más de una vez.

 Fuentes

• Limpie el espacio no utilizado con ceros (ext3, ext4) (¡esta pregunta de Unix y Linux!)
• https://ext4.wiki.kernel.org/index.php/Ext4_VM_Images
• Publicación de Ted Ts'o sobre técnicas de reducción de imágenes en el "error del kernel en fs / ext4 / resize.c: 409" hilo linux-ext4.
• Mantener las imágenes del sistema de archivos dispersas por el autor dezerofree
• liberar espacio no utilizado en un archivo de imagen qcow2 en kvm / qemu answer en Server Fault
• http://libguestfs.org/virt-sparsify.1.html

sfillfrom secure-delete puede hacer esto y muchos otros trabajos relacionados.

p.ej

sfill -l -l -z /mnt/X

ACTUALIZACIÓN # 1

Hay un árbol fuente que parece ser usado por el proyecto ArchLinux en github que contiene la fuente para la sfillcual se incluye una herramienta en el paquete Secure-Delete.

• https://github.com/BlackArch/secure-delete

También hay una copia de sfillla página de manual de 's aquí:

• http://manpages.ubuntu.com/manpages/xenial/man1/sfill.1.html

Si tiene e2fsprogs 1.42.9, puede usar e2imagepara crear la imagen de partición sin el espacio libre en primer lugar, para que pueda omitir el paso a cero.

Puedes usar sfill. Es una mejor solución para volúmenes delgados.

Si no desea recurrir a herramientas adicionales, este método debería ser más rápido que cat /dev/zero > /mnt/fs/zeros:

dd if=/dev/zero of="/mnt/fs/filler" bs=10485760
dd if=/dev/zero of="/mnt/fs/filler1" bs=1
rm /mnt/fs/filler
rm /mnt/fs/filler1