¿Cómo se vería un awkguión (presumiblemente una sola línea) para eliminar una lista de materiales ?
Especificación:
NR > 1)#FE #FFo #FF #FE, elimínelos e imprima el restoRespuestas:
Prueba esto:
awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILEEn el primer registro (línea), elimine los caracteres BOM. Imprime todos los registros.
O un poco más corto, sabiendo que la acción predeterminada en awk es imprimir el registro:
awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}1' INFILE > OUTFILE1 es la condición más corta que siempre se evalúa como verdadera, por lo que se imprime cada registro.
¡Disfrutar!
- ADENDA -
Las preguntas frecuentes sobre la marca de orden de bytes (BOM) Unicode incluyen la siguiente tabla que enumera los bytes de BOM exactos para cada codificación:
Bytes | Encoding Form
--------------------------------------
00 00 FE FF | UTF-32, big-endian
FF FE 00 00 | UTF-32, little-endian
FE FF | UTF-16, big-endian
FF FE | UTF-16, little-endian
EF BB BF | UTF-8Por lo tanto, puede ver cómo \xef\xbb\xbfcorresponde a los EF BB BF UTF-8bytes de la lista de materiales en la tabla anterior.
awk '{if(NR==1)sub(/^\xef\xbb\xbf/,"");print}' INFILE > OUTFILEy asegúrese de que INFILE y OUTFILE sean diferentes!
perl -i.orig -pe 's/^\x{FFFE}//' badfile, podría confiar en sus envariables PERL_UNICODE y / o PERLIO para la codificación. PERL_UNICODE = SD funcionaría para UTF-8; para los demás, necesitarías PERLIO.
awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}1'
Usando GNU sed(en Linux o Cygwin):
# Removing BOM from all text files in current directory:
sed -i '1 s/^\xef\xbb\xbf//' *.txtEn FreeBSD:
sed -i .bak '1 s/^\xef\xbb\xbf//' *.txtVentaja de usar GNU o FreeBSD sed: el -iparámetro significa "en el lugar" y actualizará los archivos sin necesidad de redirecciones o trucos extraños.
En Mac:
Esta awksolución en otra respuesta funciona , pero el sedcomando anterior no funciona. Al menos en Mac (Sierra), la seddocumentación no menciona el soporte ala de escape hexadecimal \xef.
Se puede lograr un truco similar con cualquier programa conectando a la spongeherramienta desde moreutils :
awk '…' INFILE | sponge INFILE10.11.6, esto no funciona, pero la respuesta oficial stackoverflow.com/a/1068700/9636 funciona bien.
No awk, pero más simple:
tail -c +4 UTF8 > UTF8.nobomPara comprobar la lista de materiales:
hd -n 3 UTF8Si BOM está presente, verá: 00000000 ef bb bf ...
cat file1.utf8 file2.utf8 file3.utf3 > allfiles.utf8se romperá. Nunca use una lista de materiales en UTF-8. Período.
hdNo está disponible en OS X (a partir de 10.8.2), por lo que para comprobar si hay una BOM UTF-8 no se puede utilizar el siguiente: head -c 3 file | od -t x1.
Además de convertir los finales de línea CRLF a LF, dos2unixtambién elimina las listas de materiales:
dos2unix *.txtdos2unix también convierte archivos UTF-16 con una BOM (pero no archivos UTF-16 sin una BOM) a UTF-8 sin una BOM:
$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16be>bom-utf16be
$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16le>bom-utf16le
$ printf '\ufeffä\n'>bom-utf8
$ printf 'ä\n'|iconv -f utf-8 -t utf-16be>utf16be
$ printf 'ä\n'|iconv -f utf-8 -t utf-16le>utf16le
$ printf 'ä\n'>utf8
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be feff00e4000a
bom-utf16le fffee4000a00
bom-utf8 efbbbfc3a40a
utf16be 00e4000a
utf16le e4000a00
utf8 c3a40a
$ dos2unix -q *
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be c3a40a
bom-utf16le c3a40a
bom-utf8 c3a40a
utf16be 00e4000a
utf16le e4000a00
utf8 c3a40aSé que la pregunta estaba dirigida a Unix / Linux, pensé que valdría la pena mencionar una buena opción para los que tienen problemas con Unix (en Windows, con una interfaz de usuario).
Me encontré con el mismo problema en un proyecto de WordPress (BOM estaba causando problemas con el feed de rss y la validación de la página) y tuve que buscar en todos los archivos en un árbol de directorios bastante grande para encontrar el que estaba con BOM. Encontré una aplicación llamada Reemplazar Pioneer y en ella:
Batch Runner -> Buscar (para encontrar todos los archivos en las subcarpetas) -> Reemplazar plantilla -> Binario eliminar lista de materiales (hay una plantilla de búsqueda y reemplazo lista para esto).
No era la solución más elegante y requería instalar un programa, lo cual es una desventaja. Pero una vez que descubrí lo que estaba pasando a mi alrededor, funcionó a las mil maravillas (y encontré 3 archivos de aproximadamente 2300 que tenían BOM).