¿Por qué la tubería 'tar' en 'dd' no se detiene hasta que el disco está lleno?

Tengo un archivo tar de una sola imagen de disco. La imagen dentro de este archivo tar es de aproximadamente 4 GB de tamaño. Tubería que la salida de tar xfal ddescribir la imagen de disco en una tarjeta SD. El diskdump nunca se detiene hasta que la tarjeta está llena. Aquí está mi sesión de shell:

$ ls -l disk.img.tgz
-rw-r--r-- 1 confus confus 192M Okt  5 00:53

$ tar -tvf disk.img.tgz
-rw-r--r-- root/root 4294968320 2018-10-05 00:52 disk.img

$ lsblk -lb /dev/sdc
NAME MAJ:MIN RM        SIZE RO TYPE MOUNTPOINT
sdc    8:32   1 16022241280  0 disk

$ tar zxf disk.img.tgz -O | sudo dd status=progress conv=sync bs=1M of=/dev/sdc
[sudo] password for user: 
15992881152 bytes (16 GB, 15 GiB) copied, 212 s, 75,4 MB/s 
dd: error writing '/dev/sdc': No space left on device
0+15281 records in
15280+0 records out
16022241280 bytes (16 GB, 15 GiB) copied, 217,67 s, 73,6 MB/s

¿Por qué? ¡Debería detenerse después de que Hit haya escrito la imagen de 4GB en el carrito de 16GB y nunca quedarse sin espacio!

Es porque lo estás haciendo mal.

Estás usando bs=1Mpero leer desde stdin, pipe, tendrá lecturas más pequeñas. De hecho, según dd, no obtuvo una sola lectura completa.

Y luego tienes conv=syncque complementa las lecturas incompletas con ceros.

0+15281 records in
15280+0 records out

ddrecibió 0 lecturas completas y 15281 incompletas, y escribió 15280 bloques completos (conv = sincronización llena). Por lo tanto, la salida es mucho más grande que la entrada, hasta que no quede espacio.

   sync   pad  every  input  block  with  NULs to ibs-size; when used with
          block or unblock, pad with spaces rather than NULs

Para resolver esto, puede eliminar conv=syncy agregar iflag=fullblock.

Para ilustrar, considere yes, que por defecto arroja infinito "y \ ny \ ny \ n".

$ yes
y
y
y
^C
$ yes | hexdump -C
00000000  79 0a 79 0a 79 0a 79 0a  79 0a 79 0a 79 0a 79 0a  |y.y.y.y.y.y.y.y.|
*

Con dd bs=1M conv=syncesto se ve así:

$ yes | dd bs=1M conv=sync | hexdump -C
00000000  79 0a 79 0a 79 0a 79 0a  79 0a 79 0a 79 0a 79 0a  |y.y.y.y.y.y.y.y.|
*
0001e000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00100000  79 0a 79 0a 79 0a 79 0a  79 0a 79 0a 79 0a 79 0a  |y.y.y.y.y.y.y.y.|
*
00112000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*

Entonces obtiene un bloque incompleto de "y \ ny \ ny \ n" (0x00000 - 0x1e000, 122880 Bytes) y luego escribe el 1M restante como ceros (0x01e000 - 0x100000, 925696 Bytes). En la mayoría de los casos, no desea que esto suceda. El resultado es aleatorio de todos modos ya que no tienes control real sobre cuán incompleta resultaría ser cada lectura. Como aquí, la segunda lectura ya no es 122880 Bytes sino 73728 Bytes.

dd conv=syncrara vez es útil e incluso en los casos en que sería bienvenido, como escribir ceros cuando recibes errores de lectura, las cosas saldrán terriblemente mal.