¿Cómo obtener la parte de un archivo después de la primera línea que coincide con una expresión regular?

Tengo un archivo con aproximadamente 1000 líneas. Quiero la parte de mi archivo después de la línea que coincide con mi declaración grep.

Es decir:

$ cat file | grep 'TERMINATE'     # It is found on line 534

Entonces, quiero el archivo de la línea 535 a la línea 1000 para su posterior procesamiento.

¿Cómo puedo hacer eso?

Lo siguiente imprimirá la coincidencia de línea TERMINATEhasta el final del archivo:

sed -n -e '/TERMINATE/,$p'

Explicado: -n deshabilita el comportamiento predeterminado sedde imprimir cada línea después de ejecutar su secuencia de comandos, -eindicando una secuencia de comandos para sed, /TERMINATE/,$es una selección de rango de dirección (línea) que significa la primera línea que coincide con la TERMINATEexpresión regular (como grep) al final del archivo ( $) , y pes el comando de impresión que imprime la línea actual.

Esto se imprimirá desde la línea que sigue a la línea coincidente TERMINATEhasta el final del archivo:
(DESPUÉS de la línea coincidente a EOF, SIN incluir la línea coincidente)

sed -e '1,/TERMINATE/d'

Explicado: 1,/TERMINATE/ es una selección de rango de dirección (línea) que significa la primera línea para la entrada a la primera línea que coincide con la TERMINATEexpresión regular, y des el comando de eliminación que elimina la línea actual y salta a la siguiente línea. Como sedel comportamiento predeterminado es imprimir las líneas, imprimirá las líneas desde TERMINATE el final de la entrada.

Editar:

Si quieres las líneas antes TERMINATE:

sed -e '/TERMINATE/,$d'

Y si desea ambas líneas antes y después TERMINATEen 2 archivos diferentes en una sola pasada:

sed -e '1,/TERMINATE/w before
/TERMINATE/,$w after' file

Los archivos antes y después contendrán la línea con terminación, por lo que para procesar cada uno debe usar:

head -n -1 before
tail -n +2 after

Edit2:

SI no desea codificar los nombres de archivo en el script sed, puede:

before=before.txt
after=after.txt
sed -e "1,/TERMINATE/w $before
/TERMINATE/,\$w $after" file

Pero luego debe escapar del $significado de la última línea para que el shell no intente expandir la $wvariable (tenga en cuenta que ahora usamos comillas dobles alrededor del script en lugar de comillas simples).

Olvidé decir que la nueva línea es importante después de los nombres de archivo en el script para que sed sepa que los nombres de archivo terminan.

Editar: 2016-0530

Sébastien Clément preguntó: "¿Cómo reemplazarías el hardcoded TERMINATEpor una variable?"

Haría una variable para el texto coincidente y luego lo haría de la misma manera que en el ejemplo anterior:

matchtext=TERMINATE
before=before.txt
after=after.txt
sed -e "1,/$matchtext/w $before
/$matchtext/,\$w $after" file

para usar una variable para el texto coincidente con los ejemplos anteriores:

## Print the line containing the matching text, till the end of the file:
## (from the matching line to EOF, including the matching line)
matchtext=TERMINATE
sed -n -e "/$matchtext/,\$p"

## Print from the line that follows the line containing the 
## matching text, till the end of the file:
## (from AFTER the matching line to EOF, NOT including the matching line)
matchtext=TERMINATE
sed -e "1,/$matchtext/d"

## Print all the lines before the line containing the matching text:
## (from line-1 to BEFORE the matching line, NOT including the matching line)
matchtext=TERMINATE
sed -e "/$matchtext/,\$d"

Los puntos importantes sobre la sustitución de texto con variables en estos casos son:

1. Las variables ( $variablename) encerradas en single quotes[ '] no se "expandirán" pero las variables dentro de double quotes[ "] sí. Por lo tanto, debe cambiar todo single quotesa double quotessi contienen texto que desea reemplazar con una variable.
2. Los sedrangos también contienen una $y son seguidos inmediatamente por una carta como: $p, $d, $w. También se verá como las variables que ser ampliado, por lo que tiene que escapar de esos $personajes con una barra invertida [ \] como: \$p, \$d, \$w.

Como una aproximación simple, podría usar

grep -A100000 TERMINATE file

que greps TERMINATEy salidas de hasta 100000 líneas después de esa línea.

De la página man

-A NUM, --after-context=NUM

Imprima NUM líneas del contexto final después de las líneas coincidentes. Coloca una línea que contiene un separador de grupo (-) entre grupos contiguos de coincidencias. Con la opción -o o --only-matching, esto no tiene efecto y se da una advertencia.

Una herramienta para usar aquí es awk:

cat file | awk 'BEGIN{ found=0} /TERMINATE/{found=1}  {if (found) print }'

Como funciona esto:

1. Establecemos la variable 'encontrado' en cero, evaluando falso
2. Si se encuentra una coincidencia para 'TERMINAR' con la expresión regular, la establecemos en una.
3. Si nuestra variable 'encontrado' se evalúa como Verdadero, imprime :)

Las otras soluciones pueden consumir mucha memoria si las usa en archivos muy grandes.

Si entiendo tu pregunta correctamente, quieres las líneas después TERMINATE , sin incluir la línea TERMINATE. awkpuede hacer esto de una manera simple:

awk '{if(found) print} /TERMINATE/{found=1}' your_file

Explicación:

1. Aunque no es la mejor práctica, puede confiar en el hecho de que todos los valores predeterminados de vars son 0 o la cadena vacía si no está definida. Entonces, la primera expresión ( if(found) print) no imprimirá nada para comenzar.
2. Una vez realizada la impresión, verificamos si esta es la línea de inicio (que no debe incluirse).

Esto imprimirá todas las líneas después de la línea TERMINATE.

Generalización:

• Tiene un archivo con inicio - y finales -lines y desea que los límites entre esas líneas excluyendo el inicio - y finales -lines.
• Las líneas de inicio y final podrían definirse mediante una expresión regular que coincida con la línea.

Ejemplo:

$ cat ex_file.txt 
not this line
second line
START
A good line to include
And this line
Yep
END
Nope more
...
never ever
$ awk '/END/{found=0} {if(found) print} /START/{found=1}' ex_file.txt 
A good line to include
And this line
Yep
$

Explicación:

1. Si se encuentra la línea final, no se debe imprimir. Tenga en cuenta que esta comprobación se realiza antes de la impresión real para excluir la línea final del resultado.
2. Imprime la línea actual si foundestá configurada.
3. Si se encuentra la línea de inicio, configúrela found=1para que se impriman las siguientes líneas. Tenga en cuenta que esta verificación se realiza después de la impresión real para excluir la línea de inicio del resultado.

Notas:

• El código se basa en el hecho de que todos los valores predeterminados de awk-vars son 0 o la cadena vacía si no está definida. Esto es válido pero puede que no sea la mejor práctica, por lo que puede agregar un BEGIN{found=0}al comienzo de la expresión awk.
• Si se encuentran varios bloques de inicio-fin , todos se imprimen.

Utilice la expansión de parámetros bash de la siguiente manera:

content=$(cat file)
echo "${content#*TERMINATE}"

grep -A 10000000 'TERMINAR' archivo

• es mucho, mucho más rápido que sed, especialmente trabajando en archivos realmente grandes. Funciona hasta 10 millones de líneas (o lo que sea que pones), por lo que no hay daño en hacer esto lo suficientemente grande como para manejar cualquier cosa que golpees.

Hay muchas formas de hacerlo con sedo awk:

sed -n '/TERMINATE/,$p' file

Esto busca TERMINATEen su archivo e imprime desde esa línea hasta el final del archivo.

awk '/TERMINATE/,0' file

Este es exactamente el mismo comportamiento que sed.

En caso de que sepa el número de la línea desde la que desea comenzar a imprimir, puede especificarlo junto con NR(número de registro, que finalmente indica el número de la línea):

awk 'NR>=535' file

Ejemplo

$ seq 10 > a        #generate a file with one number per line, from 1 to 10
$ sed -n '/7/,$p' a
7
8
9
10
$ awk '/7/,0' a
7
8
9
10
$ awk 'NR>=7' a
7
8
9
10

Si por alguna razón desea evitar el uso de sed, lo siguiente imprimirá la coincidencia de línea TERMINATEhasta el final del archivo:

tail -n "+$(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)" file

y lo siguiente se imprimirá desde la siguiente coincidencia de línea TERMINATEhasta el final del archivo:

tail -n "+$(($(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)+1))" file

Se necesitan 2 procesos para hacer lo que sed puede hacer en un proceso, y si el archivo cambia entre la ejecución de grep y tail, el resultado puede ser incoherente, por lo que recomiendo usar sed. Además, si el archivo no contiene TERMINATE, el primer comando falla.

Alternativas a la excelente sedrespuesta de jfgagne, y que no incluyen la línea correspondiente:

• awk '/TERMINATE/ {y=1;next} y'( https://stackoverflow.com/a/18166628 )
• awk '/TERMINATE/ ? c++ : c'( https://stackoverflow.com/a/23984891 )
• perl -ne 'print unless 1 .. /TERMINATE/'( https://stackoverflow.com/a/18167194 )

Esta podría ser una forma de hacerlo. Si sabe en qué línea del archivo tiene su palabra grep y cuántas líneas tiene en su archivo:

grep -A466 'TERMINAR' archivo

sed es una herramienta mucho mejor para el trabajo: archivo sed -n '/ re /, $ p'

donde re es regexp.

Otra opción es la bandera de grep --after-context. Debe pasar un número para finalizar, el uso de wc en el archivo debería proporcionar el valor correcto para detenerse. Combina esto con -n y tu expresión de coincidencia.

Estos imprimirán todas las líneas desde la última línea encontrada "TERMINAR" hasta el final del archivo:

LINE_NUMBER=`grep -o -n TERMINATE $OSCAM_LOG|tail -n 1|sed "s/:/ \\'/g"|awk -F" " '{print $1}'`
tail -n +$LINE_NUMBER $YOUR_FILE_NAME