Grepping inverso

Digamos que tengo un archivo de texto realmente grande (aproximadamente 10,000,000 líneas). Lo necesito grepdesde el final y guardo el resultado en un archivo. ¿Cuál es la forma más eficiente de realizar la tarea?

Solución tac / grep

tac file | grep whatever

O un poco más efectivo:

grep whatever < <(tac file)

Tiempo con un archivo de 500 MB:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

Solución sed / grep :

sed '1!G;h;$!d' | grep whatever

Tiempo con un archivo de 500 MB: cancelado después de más de 10 minutos.

Solución awk / grep :

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

Tiempo con un archivo de 500 MB:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

Solución perl / grep :

perl -e 'print reverse <>' file | grep whatever

Tiempo con un archivo de 500 MB:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

Esta solución podría ayudar:

tac file_name | grep -e expression

Éste sale tan pronto como encuentra la primera coincidencia:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

A continuación se muestran las 5 líneas antes y después de los dos primeros partidos:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

Recuerde no usar -i(no distingue entre mayúsculas y minúsculas) a menos que tenga que hacerlo, ya que eso reducirá la velocidad.

Si conoce la cadena exacta que está buscando, considere fgrep(Cadena fija)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Si el archivo es muy grande, no puede caber en la memoria, voy a utilizar Perlcon archivos :: ReadBackwards módulo desde CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Entonces:

$ ./reverse-grep.pl pattern file