Usando 'head' o 'tail' en un archivo de texto ENORME - 19 GB

Tengo un problema con la visualización de fragmentos de un archivo de texto muy grande. Este archivo, de aproximadamente 19 GB, es obviamente demasiado grande para verlo por cualquier medio tradicional.

He intentado head 1y tail 1( head -n 1y tail -n 1) con ambos comandos conectados de varias maneras (para llegar a una pieza en el medio) sin suerte. Mi máquina Linux que ejecuta Ubuntu 9.10 no puede procesar este archivo.

¿Cómo manejo este archivo? Mi objetivo final es afinar las líneas 45000000 y 45000100.

Debe utilizar sed.

sed -n -e 45000000,45000100p -e 45000101q bigfile > savedlines

Esto le indica sedque imprima las líneas 45000000-45000100 inclusive y que salga en la línea 45000101.

Cree una base de datos MySQL con una sola tabla que tenga un solo campo. Luego importe su archivo a la base de datos. Esto hará que sea muy fácil buscar una determinada línea.

No creo que cualquier otra cosa podría ser más rápido (si heady tailno haya superado). Al final, la aplicación que quiere encontrar la línea ntiene que buscar en todo el archivo hasta que encuentre nnuevas líneas. Sin algún tipo de búsqueda (índice de línea para desplazamiento de bytes en el archivo) no se puede lograr un mejor rendimiento.

Dado lo fácil que es crear una base de datos MySQL e importar datos en ella, siento que este es un enfoque viable.

Aquí está cómo hacerlo:

DROP DATABASE IF EXISTS helperDb;
CREATE DATABASE `helperDb`;
CREATE TABLE `helperDb`.`helperTable`( `lineIndex` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `lineContent` MEDIUMTEXT , PRIMARY KEY (`lineIndex`) );
LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable (lineContent);
SELECT lineContent FROM helperTable WHERE ( lineIndex > 45000000 AND lineIndex < 45000100 );

/tmp/my_large_file sería el archivo que quieres leer.

La sintaxis correcta para importar un archivo con valores delimitados por tabulaciones en cada línea es:

LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable FIELDS TERMINATED BY '\n' (lineContent);

Otra ventaja importante de esto es que si luego decide extraer otro conjunto de líneas, no tendrá que esperar horas para el procesamiento nuevamente (a menos que elimine la base de datos, por supuesto).

Dos buenas herramientas antiguas para archivos grandes son joiny split. Puede usar la --lines=<number>opción dividir con que corta el archivo a varios archivos de cierto tamaño.

Por ejemplo split --lines=45000000 huge_file.txt. Las partes resultantes estarían en xa, xb, etc. Luego, puede headla parte xb que incluiría las líneas que deseaba. También puede 'unir' archivos a un solo archivo grande.

Tiene las herramientas correctas pero las está utilizando incorrectamente. Como se respondió anteriormente en U&L, tail -n +X file | head -n Y(tenga en cuenta que +) es 10-15% más rápido que sedpara las líneas Y que comienzan en X. Y convenientemente, no tiene que explícitamente exitel proceso como con sed.

tail leerá y descartará las primeras líneas X-1 (no hay forma de evitarlo), luego leerá e imprimirá las siguientes líneas. head leerá e imprimirá el número de líneas solicitado, luego saldrá. Cuando sale la cabeza, la cola recibe una señal SIGPIPE y muere, por lo que no habrá leído más del valor de un tamaño de búfer (generalmente unos pocos kilobytes) de líneas del archivo de entrada.