¿Cómo grep de un archivo de texto que contiene algunos datos binarios?

devuelve grep

Coincidencias de archivo binario test.log

Por ejemplo

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Deseo que el resultado muestre la línea 1 y la línea 3 (dos líneas en total).

¿Es posible trconvertir los datos no imprimibles en datos legibles para que grep vuelva a funcionar?

Puede ejecutar el archivo de datos cat -v, por ejemplo

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

que luego podría procesarse posteriormente para eliminar la basura; esto es más análogo a su consulta sobre el uso trpara la tarea.

grep -a

No puede ser más simple que eso.

Una forma es simplemente tratar los archivos binarios como texto de todos modos, grep --textpero esto puede resultar en que se envíe información binaria a su terminal. Eso no es realmente una buena idea si está ejecutando un terminal que interpreta el flujo de salida (como VT / DEC o muchos otros).

Alternativamente, puede enviar su archivo trcon el siguiente comando:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Esto cambiará cualquier carácter menor que un espacio (excepto una nueva línea) y algo mayor que 126, en un .carácter, dejando solo los imprimibles.

Si desea que cada carácter "ilegal" sea reemplazado por uno diferente, puede usar algo como el siguiente programa en C, un filtro de entrada estándar clásico:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Esto le dará {{NN}}dónde NNestá el código hexadecimal del personaje. Simplemente puede ajustar el printfpara cualquier estilo de salida que desee.

Puede ver ese programa en acción aquí, donde:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Puede utilizar "cadenas" para extraer cadenas de un archivo binario, por ejemplo

strings binary.file | grep foo

Puede forzar a grep a mirar archivos binarios con:

grep --binary-files=text

Es posible que también desee agregar -o( --only-matching) para no obtener toneladas de galimatías binarias que arruinarán su terminal.

A partir de Grep 2.21, los archivos binarios se tratan de manera diferente :

Al buscar datos binarios, grep ahora puede tratar los bytes que no son de texto como terminadores de línea. Esto puede mejorar el rendimiento de manera significativa.

Entonces, lo que sucede ahora es que con los datos binarios, todos los bytes que no son de texto (incluidas las nuevas líneas) se tratan como terminadores de línea. Si desea cambiar este comportamiento, puede:

• utilizar --text . Esto asegurará que solo las nuevas líneas sean terminadores de línea

• utilizar --null-data. Esto asegurará que solo los bytes nulos sean terminadores de línea

grep -a forzará a grep a buscar y generar desde un archivo que grep piensa que es binario. grep -a re test.log

Como ya dijo James Selvakumar, grep -afunciona. -a o --text obliga a Grep a manejar el flujo de entrada como texto. Ver página de manual http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

tratar

cat test.log | grep -a somestring

tu puedes hacer

strings test.log | grep -i

esto convertirá la salida como una cadena legible a grep.

También puede probar la herramienta Word Extractor . Word Extractor se puede usar con cualquier archivo en su computadora para separar las cadenas que contienen texto / palabras humanas del código binario (aplicaciones exe, DLL).

Esto es lo que usé en un sistema que no tenía el comando "strings" instalado

cat yourfilename | tr -cd "[:print:]"

Esto imprime el texto y elimina los caracteres no imprimibles de una sola vez, a diferencia de "cat -v filename", que requiere un procesamiento posterior para eliminar elementos no deseados. Tenga en cuenta que algunos de los datos binarios pueden imprimirse, por lo que aún obtendrá algunos galimatías entre las cosas buenas. Creo que las cuerdas también eliminan este galimatías si puedes usar eso.