¿Cómo puedo acortar un archivo desde la línea de comando?

Tengo un archivo xml de 150 GB que me gustaría acortar (es decir, truncar) a aproximadamente 1 GB: ¿puedo usar un comando simple (bash o similar) o debo seguir la ruta programática (editándolo en vi o emacs es una pesadilla incluso en grandes sistemas de hierro)?

(No estoy particularmente preocupado por la pérdida de información, quiero un archivo más corto para poder probar una pieza de software al respecto y no esperar muchas horas por la respuesta, un archivo más corto me permitirá hacerlo).

Suponiendo que desea truncar y extraer el primer 1 GB del archivo de 150 GB:

Con head:

head -c 1G infile > outfile

Tenga en cuenta que el Gsufijo puede reemplazarse GBpara alinearse con 1000 en lugar de 1024.

O con dd:

dd if=infile of=outfile bs=1M count=1024

O como en Wumpus Q. La respuesta de Wumbley, ddpuede truncarse en su lugar.

Para truncar un archivo a 1 gigabyte, use el truncatecomando:

truncate -s 1G file.xml

El resultado del truncamiento probablemente no será un archivo XML válido, pero supongo que lo comprende.

La documentación para la versión GNU de truncateestá aquí y la documentación para la versión BSD está aquí

Siempre que sea posible, usaría el truncatecomando como en la respuesta de John1024. Sin embargo, no es un comando estándar de Unix, por lo que es posible que algún día no puedas usarlo. En ese caso, también ddpuede hacer un truncamiento en el lugar.

ddEl comportamiento predeterminado es truncar el archivo de salida en el punto donde finaliza la copia, por lo que solo debe darle un archivo de entrada de longitud 0 y decirle que comience a escribir en el punto de truncamiento deseado:

dd if=/dev/null of=filename bs=1048576 seek=1024

(Esto no es lo mismo que copiar y truncar dden la respuesta de multithr3at3d).

Tenga en cuenta que usé 1048576 y 1024 porque 1048576 * 1024 es el tamaño deseado. Evité bs = 1m porque se trata de una respuesta "portabilidad", y clásicos ddsólo sabe sufijos k, by w.

No estoy completamente seguro de lo que estás preguntando. ¿Solo quiere deshacerse de los otros 149 GB o está tratando de comprimir 150 GB en 1 GB? Independientemente, este puede ser un método útil para lograr esto.

El splitcomando puede dividir cualquier archivo en varias partes. Ver hombre dividido . Puede especificar el tamaño de los fragmentos de archivo en los que desea dividirlo con la -bopción. Por ejemplo:

$ split -b 1GB myfile.xml

Sin ninguna otra opción, esto debería crear varios archivos en el directorio actual comenzando con la letra x. Si desea ajustar los nombres de los archivos divididos, consulte la página del manual.

Para volver a ensamblar el archivo simplemente use cat * > re-assembled.xml.

Ejemplo:

[kent_x86.py@c7 split-test]$ ls -l opendocman*
-rw-rw-r--.  1 kent_x86.py kent_x86.py 2082602 Mar 31  2017 opendocman-1.3.5.tar.gz

[kent_x86.py@c7 split-test]$ split -b 100K opendocman-1.3.5.tar.gz 
[kent_x86.py@c7 split-test]$ ls
opendocman-1.3.5.tar.gz  xaa  xab  xac  xad  xae  xaf  xag  xah  xai  xaj  xak  xal  xam  xan  xao  xap  xaq  xar  xas  xat  xau
[kent_x86.py@c7 split-test]$ ll
total 4072
-rw-rw-r--. 1 kent_x86.py kent_x86.py 2082602 Jan  5 11:06 opendocman-1.3.5.tar.gz
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaa
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xab
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xac
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xad
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xae
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaf
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xag
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xah
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xai
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaj
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xak
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xal
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xam
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xan
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xao
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xap
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaq
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xar
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xas
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xat
-rw-rw-r--. 1 kent_x86.py kent_x86.py   34602 Jan  5 11:06 xau
[kent_x86.py@c7 split-test]$ cat xa* > opendoc-reassembled.tar.gz
[kent_x86.py@c7 split-test]$ ls -l opendoc-reassembled*
-rw-rw-r--. 1 kent_x86.py kent_x86.py 2082602 Jan  5 11:07 opendoc-reassembled.tar.gz

Puedes usar el splitcomando.

split -C 1G <filename>

Para más detalles, eche un vistazo a esta respuesta de stackoverflow

Al final solo solía sedextraer un número arbitrario de líneas:

sed -n 1,1000000p infile.xml>outfile.xml