¿Cómo puedo eliminar la lista de materiales de un archivo UTF-8?

Tengo un archivo en codificación UTF-8 con BOM y quiero eliminar la BOM. ¿Hay alguna herramienta de línea de comandos de Linux para eliminar la lista de materiales del archivo?

$ file test.xml
test.xml:  XML 1.0 document, UTF-8 Unicode (with BOM) text, with very long lines

Si no está seguro de si el archivo contiene una lista de materiales UTF-8, esto (suponiendo la implementación de GNU de sed) eliminará la lista de materiales si existe, o no hará cambios si no es así.

sed '1s/^\xEF\xBB\xBF//' < orig.txt > new.txt

También puede sobrescribir el archivo existente con la -iopción:

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

Una lista de materiales no tiene sentido en UTF-8. Por lo general, se agregan por error por software falso en sistemas operativos Microsoft.

dos2unix lo eliminará y también se encargará de otras idiosincrasias de archivos de texto de Windows.

dos2unix test.xml

Es posible eliminar la lista de materiales de un archivo con el tailcomando:

tail -c +4 withBOM.txt > withoutBOM.txt

Usando VIM

1. Abrir archivo en VIM:

   vi text.xml
   

2. Eliminar la codificación BOM:

   :set nobomb
   

3. Guardar y Salir:

   :wq
   

Puedes usar

LANG=C LC_ALL=C sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- filename

para eliminar la marca de orden de bytes desde el comienzo del archivo, si tiene alguna, así como para convertir cualquier nueva línea CR LF a solo LF. El LANG=C LC_ALL=Cle dice al shell que desea que el comando se ejecute en la configuración regional C predeterminada (también conocida como la configuración regional POSIX predeterminada), donde los tres bytes que forman la marca de orden de bytes se tratan como bytes. La -iopción de sed significa en el lugar. Si lo usa -i.old, sed guarda el archivo original como filename.oldy el nuevo archivo (con las modificaciones, si corresponde) como filename.

Personalmente me gusta tener esto como ~/bin/fix-ms; por ejemplo, como

#!/bin/dash
export LANG=C LC_ALL=C
if [ $# -gt 0 ]; then
    for FILE in "$@" ; do
        sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- "$FILE" || exit 1
    done
else
    exec sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//'
fi

así que si necesito aplicar esto para decir todos los archivos y encabezados de fuente C (¡mi código anterior de la era MS-DOS, por ejemplo!), simplemente ejecuto

find . -name '*.[CHch]' -print0 | xargs -r0 ~/bin/ms-fix

o, si solo quiero ver dicho archivo, sin modificarlo, puedo ejecutar

~/bin/ms-fix < filename | less

y no ver lo feo <U+FEFF>en mi terminal UTF-8.

Recientemente encontré esta pequeña herramienta de línea de comandos que agrega o elimina la lista de materiales en archivos codificados UTF-8 arbitrarios: UTF BOM Utils ( nuevo enlace en github)

Pequeño inconveniente, solo puede descargar el código fuente de C ++. Debe crear el archivo MAKE (con CMake , por ejemplo) y compilarlo usted mismo, no se proporcionan binarios en esta página.