¿Por qué mi archivo ordenado es más grande?

Tengo un archivo de texto de 2958616 bytes. Cuando ejecuto sort < file.txt | uniq > sorted-file.txt, obtengo un archivo de texto de 3213965 bytes. ¿Por qué mi archivo de texto ordenado es más grande?

Puede descargar los archivos de texto aquí .

Mientras que su archivo original tiene líneas que terminan con \n, su archivo ordenado tiene \r\n. La adición de \res lo que cambia el tamaño.

Para ilustrar, esto es lo que sucede cuando ejecuto su comando en mi sistema Linux:

$ sort < file.txt | uniq > sorted-file.linux.txt
$ ls -l file.txt sorted-file.linux.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
$ wc -l file.txt sorted-file.linux.txt 
273882 file.txt
271576 sorted-file.linux.txt

Como puede ver, el archivo deducido ordenado es unas pocas líneas más cortas y, en consecuencia, unos pocos bytes más pequeños. Su archivo, sin embargo, es diferente:

$ wc -l sorted-file.linux.txt sorted-file.txt 
271576 sorted-file.linux.txt
271576 sorted-file.txt

Los dos archivos tienen exactamente el mismo número de líneas, pero:

$ ls -l file.txt sorted-file.linux.txt sorted-file.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
-rw-r--r-- 1 terdon terdon 3213965 Jul 10 12:11 sorted-file.txt

El sorted-file.txtque descargué de su enlace es más grande. Si ahora examinamos la primera línea, podemos ver el extra \r:

$ head -n1 sorted-file.txt | od -c
0000000   a  \r  \n
0000003

Que no están presentes en el que creé en Linux:

$ head -n1 sorted-file.linux.txt | od -c
0000000   a  \n
0000002

Si ahora eliminamos el \rarchivo de su archivo:

$ tr -d '\r' < sorted-file.txt > new-sorted-file.txt

Obtenemos el resultado esperado, un archivo que es más pequeño que el original, como el que creé en mi sistema:

$ ls -l sorted-file.linux.txt new-sorted-file.txt file.txt
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:19 new-sorted-file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt

hexdump lo revela!

$ hexdump -cn 32 file.txt 
0000000   a   d   h   d  \n   a   d   s   l  \n   a   m   v   b  \n   a
0000010   o   v  \n   a   o   w  \n   a   r   o   b  \n   a   s   f   a
0000020

$ hexdump -cn 32 my-sorted.txt 
0000000   a  \n   a   a  \n   a   a   a  \n   a   a   d  \n   a   a   d
0000010   s  \n   a   a   f   j   e  \n   a   a   f   j   e   s  \n   a
0000020 

$ hexdump -cn 32 sorted-file.txt 
0000000   a  \r  \n   a   a  \r  \n   a   a   a  \r  \n   a   a   d  \r
0000010  \n   a   a   d   s  \r  \n   a   a   f   j   e  \r  \n   a   a
0000020   

Su archivo ordenado es más grande porque usa terminaciones de línea de Windows \r\n(dos bytes) en lugar de terminaciones de línea de Linux \n(un byte).

¿Podría ser que estaba ejecutando ese comando anterior en Windows usando herramientas como cygwineste nuevo subsistema de Linux para Windows 10? ¿O tal vez corriste algo en Wine?