¿Cómo probar si un archivo usa CRLF o LF sin modificarlo?

Necesito ejecutar periódicamente un comando que garantice que algunos archivos de texto se mantengan en modo Linux. Desafortunadamente, dos2unixsiempre modifica el archivo, lo que ensuciaría las marcas de tiempo del archivo y la carpeta y causaría escrituras innecesarias.

El guión que escribo está en Bash, por lo que preferiría respuestas basadas en Bash.

Puede usarlo dos2unixcomo filtro y comparar su salida con el archivo original:

dos2unix < myfile.txt | cmp -s - myfile.txt

Si el objetivo es simplemente evitar afectar la marca de tiempo, dos2unixtiene una opción -ku --keepdateopción que mantendrá la marca de tiempo igual. Todavía tendrá que escribir para crear el archivo temporal y cambiarle el nombre, pero sus marcas de tiempo no se verán afectadas.

Si alguna modificación del archivo es inaceptable, puede usar la siguiente solución de esta respuesta .

find . -not -type d -exec file "{}" ";" | grep CRLF

Puede intentar el grepcódigo CRLF, octal:

grep -U $'\015' myfile.txt

o hexadecimal:

grep -U $'\x0D' myfile.txt

Desde la versión 7.1dos2unix tiene una -i, --infoopción para obtener información sobre los saltos de línea. Puede usar dos2unix para probar qué archivos necesitan conversión.

Ejemplo:

dos2unix -ic *.txt | xargs dos2unix

Primer método ( grep):

Cuente las líneas que contienen un retorno de carro:

[[ $(grep -c $'\r' myfile.txt) -gt 0 ]] && echo dos

Cuente las líneas que terminan con un retorno de carro:

[[ $(grep -c $'\r$' myfile.txt) -gt 0 ]] && echo dos

Estos serán típicamente equivalentes; un retorno de carro en el interior de una línea (es decir, no al final) es raro.

Más eficiente:

grep -q $'\r' myfile.txt && echo dos

Esto es mas eficiente

1. porque no necesita convertir el recuento en una cadena ASCII, y luego convertir esa cadena a un número entero, y compararlo con cero, y
2. porque grep -cnecesita leer todo el archivo, para contar todas las apariciones del patrón, mientras que grep -qpuede salir al ver la primera aparición del patrón.

Notas:

• En todo lo anterior, es posible que deba agregar la -Uopción (es decir, usar -cUo -qU), porque GNU grepadivina si el archivo es un archivo de texto. Si cree que el archivo es texto, ignora los retornos de carro al final de las líneas, en un intento de hacer que $las expresiones regulares funcionen "correctamente", ¡incluso si la expresión regular lo es \r$! La especificación -U(o --binary) anula esta conjetura, lo grepque hace que los archivos se traten como binarios y pasen los datos al mecanismo de coincidencia textualmente, con terminaciones CR intactas.
• No lo hagas grep … $'\r\n' myfile.txt, porque se greptrata \ncomo un delimitador de patrón. Así como grep -E 'foo|'busca líneas que contienen fooo una cadena nula, grep $'\r\n'busca líneas que contienen \ro una cadena nula, y cada línea coincide con una cadena nula.

Segundo método ( file):

[[ $(file myfile.txt) =~ CRLF ]] && echo dos

porque fileinforma algo como:

myfile.txt: UTF-8 Unicode text, with CRLF line terminators

Variante más segura:

[[ $(file -b - < myfile.txt) =~ CRLF ]] && echo dos

dónde

• file -bgenera solo el tipo de archivo y no el nombre del archivo. Sin esto, un archivo cuyo nombre incluyera los caracteresCRLF provocaría un falso positivo.
• file - < filenamefunciona incluso si filenamecomienza con -.  ^{Ver Script Bash: verifica si un archivo es un archivo de texto .}

Tenga en cuenta que la comprobación de la salida file puede no funcionar en una configuración regional que no esté en inglés.

Utilizar cat -A

$ cat file
hello
hello

Ahora, si este archivo se hizo en sistemas * NIX, se mostrará

$ cat -A file
hello$
hello$

Pero si este archivo se hizo en Windows, se mostrará

$ cat -A file
hello^M$
hello

^Mrepresenta CRy $representa LF. Observe que Windows no guardó la última línea conCRLF

Esto tampoco cambia el contenido del archivo.

una función bash para ti:

# return 0 (true) if first line ends in CR
isDosFile() {
    [[ $(head -1 "$1") == *$'\r' ]]  
}

Entonces puedes hacer cosas como

streamFile () {
    if isDosFile /tmp/foo.txt; then
        sed 's/\r$//' "$1"
    else
        cat "$1"
    fi
}

streamFile /tmp/foo.txt | process_lines_without_CR

Si un archivo tiene terminaciones de línea CR-LF estilo DOS / Windows, entonces si lo mira usando una herramienta basada en Unix, verá caracteres CR ('\ r') al final de cada línea.

Este comando:

grep -l '^M$' filename

se imprimirá filenamesi el archivo contiene una o más líneas con terminaciones de línea estilo Windows, y no imprimirá nada si no lo tiene. Excepto que ^Mtiene que ser un carácter de retorno de carro literal, típicamente ingresado en la terminal escribiendo Ctrl+ Vseguido de Enter (o Ctrl+ Vy luego Ctrl+ M). El shell bash le permite escribir un retorno de carro literal como $'\r'( documentado aquí ), para que pueda escribir:

grep -l $'\r$' filename

Otros proyectiles pueden proporcionar una característica similar.

Puede usar otra herramienta en su lugar:

awk '/\r$/ { exit(1) }' filename

Esto saldrá con un estado de 1(configuración $?a 1) si el archivo contiene cualquier final de línea al estilo de Windows, y con un estado de 0si no lo hace, lo que lo hace útil en una ifdeclaración de shell (tenga en cuenta la falta de [corchetes ]):

if awk '/\r$/ { exit(1) }' filename ; then
    echo filename has Unix-style line endings
else
    echo filename has at least one Windows-style line ending
fi

Un archivo puede contener una mezcla de terminaciones de línea estilo Unix y estilo Windows. Supongo aquí que desea detectar archivos que tengan cualquier final de línea estilo Windows.

Uso file:

$ file README.md
README.md: ASCII text, with CRLF line terminators

$ dos2unix README.md
dos2unix: converting file README.md to Unix format...

$ file README.md
README.md: ASCII text

he estado usando

cat -v filename.txt | diff - filename.txt

que parece funcionar Encuentro la salida un poco más fácil de leer que

dos2unix < filename.txt | diff - filename.txt

También es útil si no puede instalar dos2unixpor alguna razón.