Reemplazar cadena que contiene nueva línea en un archivo enorme

¿Alguien sabe de una herramienta no basada en líneas para buscar / reemplazar cadenas "binarias" de una manera algo eficiente en la memoria? Ver esta pregunta también.

Tengo un archivo de texto de + 2GB que me gustaría procesar similar a lo que parece hacer:

sed -e 's/>\n/>/g'

Eso significa que quiero eliminar todas las nuevas líneas que ocurren después de un >, pero no en ningún otro lugar, así que eso descarta tr -d.

Este comando (que obtuve de la respuesta de una pregunta similar ) falla con couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Entonces, ¿hay otros métodos sin recurrir a C? Odio a Perl, pero estoy dispuesto a hacer una excepción en este caso :-)

No estoy seguro de ningún carácter que no aparezca en los datos, por \nlo que me gustaría evitar el reemplazo temporal con otro carácter si es posible.

¿Alguna buena idea, alguien?

Esto es realmente trivial en Perl, ¡no deberías odiarlo!

perl -i.bak -pe 's/>\n/>/' file

Explicación

• -i: edite el archivo en su lugar y cree una copia de seguridad del original llamado file.bak. Si no quieres una copia de seguridad, solo perl -i -peúsala.
• -pe: lea el archivo de entrada línea por línea e imprima cada línea después de aplicar el script dado como -e.
• s/>\n/>/: la sustitución, al igual que sed.

Y aquí hay un awkenfoque:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

Una perlsolución:

$ perl -pe 's/(?<=>)\n//'

Explicación

• s/// se usa para la sustitución de cadenas.
• (?<=>) es mirar hacia atrás patrón.
• \n coincide con nueva línea.

Todo el significado del patrón elimina todas las líneas nuevas que tienen >antes.

Qué tal esto:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Para GNU sed, también puede intentar agregar la opción -u( --unbuffered) según la pregunta. GNU sed también está contento con esto como una simple frase:

sed ':loop />$/ { N; s/\n//; b loop }' file

Debería poder usarlo sedcon el Ncomando, pero el truco consistirá en eliminar una línea del espacio del patrón cada vez que agregue otra (de modo que el espacio del patrón siempre contenga solo 2 líneas consecutivas, en lugar de intentar leer en su totalidad archivo) - intente

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDITAR: después de releer el famoso Sed One-Liners de Peteris Krumins explicado , creo que una mejor sedsolución sería

sed -e :a -e '/>$/N; s/\n//; ta'

que solo agrega la siguiente línea en el caso de que ya se haya hecho una >coincidencia al final, y debe condicionalmente retroceder para manejar el caso de líneas coincidentes consecutivas (es el 39 de Krumin. Agregue una línea a la siguiente si termina con una barra invertida "\" exactamente excepto por la sustitución de >for \como el carácter de unión, y el hecho de que el carácter de unión se retiene en la salida).

sedno proporciona una forma de emitir salida sin una nueva línea final. Su enfoque usandoN fundamentalmente funciona, pero almacena líneas incompletas en la memoria y, por lo tanto, puede fallar si las líneas se vuelven demasiado largas (las implementaciones sed no suelen estar diseñadas para manejar líneas extremadamente largas).

Puedes usar awk en su lugar.

awk '{if (/<$/) printf "%s", $0; else print}'

Un enfoque alternativo es utilizar trpara intercambiar el carácter de nueva línea con un carácter "aburrido" y frecuente. El espacio podría funcionar aquí: elija un carácter que tiende a aparecer en cada línea o al menos en una gran proporción de líneas en sus datos.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

¿Qué hay de usar ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(a través de http://wiki.bash-hackers.org/howto/edit-ed )

Terminé usando gsar como se describe en esta respuesta así:

gsar -F '-s>:x0A' '-r>'

Hay muchas maneras de hacer esto, y la mayoría aquí son realmente buenas, pero creo que esta es mi favorita:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

O incluso:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'