¿Cómo puedo eliminar la primera línea de un archivo de texto usando el script bash / sed?

Necesito eliminar repetidamente la primera línea de un gran archivo de texto usando un script bash.

En este momento lo estoy usando sed -i -e "1d" $FILE, pero me lleva alrededor de un minuto eliminarlo.

¿Hay una manera más eficiente de lograr esto?

Prueba la cola :

tail -n +2 "$FILE"

-n x: Solo imprime las últimas xlíneas. tail -n 5le daría las últimas 5 líneas de la entrada. El +tipo de signo invierte el argumento y hace tailimprimir cualquier cosa menos las primeras x-1líneas. tail -n +1imprimiría todo el archivo, tail -n +2todo menos la primera línea, etc.

GNU tailes mucho más rápido que sed. tailtambién está disponible en BSD y el -n +2indicador es coherente en ambas herramientas. Consulte las páginas de manual de FreeBSD o OS X para obtener más información.

Sin sedembargo, la versión BSD puede ser mucho más lenta que . Me pregunto cómo lograron eso; taildebería leer un archivo línea por línea mientras sedrealiza operaciones bastante complejas que implican interpretar un script, aplicar expresiones regulares y similares.

Nota: es posible que tengas la tentación de usar

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

pero esto te dará un archivo vacío . La razón es que la redirección ( >) ocurre antes tailde que el shell la invoque:

1. Shell trunca el archivo $FILE
2. Shell crea un nuevo proceso para tail
3. Shell redirige stdout del tailproceso a$FILE
4. tail lee desde el ahora vacío $FILE

Si desea eliminar la primera línea dentro del archivo, debe usar:

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

Se &&asegurará de que el archivo no se sobrescriba cuando haya un problema.

Puede usar -i para actualizar el archivo sin usar el operador '>'. El siguiente comando eliminará la primera línea del archivo y la guardará en el archivo.

sed -i '1d' filename

Para aquellos que están en SunOS que no es GNU, el siguiente código ayudará:

sed '1d' test.dat > tmp.dat 

No, eso es lo más eficiente que vas a conseguir. Podría escribir un programa en C que podría hacer el trabajo un poco más rápido (menos tiempo de inicio y argumentos de procesamiento), pero probablemente tenderá a la misma velocidad a medida que los archivos crecen (y supongo que son grandes si toma un minuto )

Pero su pregunta tiene el mismo problema que tantos otros, ya que supone la solución. Si nos dijera en detalle qué está tratando de hacer en lugar de cómo , podríamos sugerirle una mejor opción.

Por ejemplo, si este es un archivo A que procesa algún otro programa B, una solución sería no quitar la primera línea, sino modificar el programa B para procesarlo de manera diferente.

Digamos que todos sus programas se agregan a este archivo A y el programa B actualmente lee y procesa la primera línea antes de eliminarlo.

Puede rediseñar el programa B para que no intente eliminar la primera línea pero mantenga un desplazamiento persistente (probablemente basado en archivos) en el archivo A para que, la próxima vez que se ejecute, pueda buscar ese desplazamiento, procesar la línea allí y actualice el desplazamiento.

Luego, en un momento de silencio (¿medianoche?), Podría realizar un procesamiento especial del archivo A para eliminar todas las líneas procesadas actualmente y volver a establecer el desplazamiento en 0.

Sin duda será más rápido que un programa abra y busque un archivo en lugar de abrirlo y reescribirlo. Esta discusión supone que usted tiene control sobre el programa B, por supuesto. No sé si ese es el caso, pero puede haber otras posibles soluciones si proporciona más información.

Usted puede editar los archivos en su lugar: Sólo uso de Perl -ibandera, de esta manera:

perl -ni -e 'print unless $. == 1' filename.txt

Esto hace que la primera línea desaparezca, como usted pregunta. Perl necesitará leer y copiar todo el archivo, pero organiza que la salida se guarde con el nombre del archivo original.

Puedes hacer esto fácilmente con:

cat filename | sed 1d > filename_without_first_line

en la línea de comando; o para eliminar la primera línea de un archivo de forma permanente, use el modo in situ de sed con la -ibandera:

sed -i 1d <filename>

Como dijo Pax, probablemente no va a llegar más rápido que esto. La razón es que casi no hay sistemas de archivos que admitan el truncamiento desde el principio del archivo, por lo que esta será una noperación O ( ) donde nestá el tamaño del archivo. Sin embargo, lo que puede hacer mucho más rápido es sobrescribir la primera línea con el mismo número de bytes (tal vez con espacios o un comentario) que podría funcionar para usted dependiendo de exactamente lo que está tratando de hacer (¿qué es eso por cierto?).

La spongeutilidad evita la necesidad de hacer malabarismos con un archivo temporal:

tail -n +2 "$FILE" | sponge "$FILE"

Si desea modificar el archivo en su lugar, siempre se puede utilizar el original eden lugar de su s sucesor treaming sed:

ed "$FILE" <<<$'1d\nwq\n'

El edcomando era el editor de texto original de UNIX, incluso antes de que hubiera terminales de pantalla completa, y mucho menos estaciones de trabajo gráficas. El exeditor, mejor conocido como lo que estás usando cuando se pulsa en el colon rápido en vi, es un ex versión de tendido ed, por lo que muchos de los mismos comandos de trabajo. Si bien edestá destinado a usarse de manera interactiva, también se puede usar en modo por lotes enviándole una cadena de comandos, que es lo que hace esta solución.

La secuencia <<<$'1d\nwq\n'se aprovecha de apoyo del Golpe de aquí-cuerdas ( <<<) y citas POSIX ( $'... ') a la entrada de alimentación al edcomando que consiste en dos líneas: 1dque d eletes línea 1 , y luego wq, que w ritos la parte posterior archivo a disco y luego q sale de la sesión de edición.

debería mostrar las líneas excepto la primera línea:

cat textfile.txt | tail -n +2

Podría usar vim para hacer esto:

vim -u NONE +'1d' +'wq!' /tmp/test.txt

Esto debería ser más rápido, ya que vim no leerá todo el archivo cuando se procese.

¿Qué tal usar csplit?

man csplit
csplit -k file 1 '{1}'

Como parece que no puedo acelerar la eliminación, creo que un buen enfoque podría ser procesar el archivo en lotes como este:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

El inconveniente de esto es que si el programa se mata en el medio (o si hay algún sql malo allí, causando que la parte del "proceso" muera o se bloquee), habrá líneas que se omiten o se procesan dos veces .

(archivo1 contiene líneas de código sql)

Si lo que está buscando hacer es recuperarse después de una falla, puede crear un archivo que tenga lo que ha hecho hasta ahora.

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

Este liner hará:

echo "$(tail -n +2 "$FILE")" > "$FILE"

Funciona, ya que tailse ejecuta antes echoy luego el archivo se desbloquea, por lo tanto, no es necesario un archivo temporal.

¿Usaría la cola en las líneas N-1 y la dirigiría a un archivo, luego eliminaría el archivo antiguo y cambiaría el nombre del nuevo archivo al antiguo nombre?

Si estuviera haciendo esto programáticamente, leería el archivo y recordaría el desplazamiento del archivo, después de leer cada línea, para poder volver a esa posición y leer el archivo con una línea menos.