Reindexar un archivo CSV grande

Revisé las respuestas en este útil hilo , pero mi problema parece ser lo suficientemente diferente como para no pensar en una buena respuesta (al menos con sed).

Tengo un archivo CSV grande (más de 200 GB) con filas que se parecen a lo siguiente:

<alphanumerical_identifier>,<number>

donde <alphanumerical_identifier>es único en todo el archivo. Me gustaría crear un archivo separado que reemplace la primera columna por un índice , es decir

<index>,<number>

para que obtengamos:

1, <number>
2, <number>
3, <number>

¿Puede awkgenerar un índice creciente sin cargar el archivo completo en la memoria?

Dado que el índice aumenta monotónicamente, puede ser aún mejor simplemente dejar caer el índice. ¿Sería la solución para eso tan diferente ?, es decir:

<number>
<number>
<number>

— Amelio Vazquez-Reina
fuente

No estoy seguro de la viabilidad de esta solución. Pero, ¿qué tal simplemente generar tantos números como en el archivo CSV en un archivo separado y luego simplemente agregar la segunda columna del archivo CSV a ese archivo?

— Ramesh

@Ramesh Eso está perfectamente bien siempre que la salida sea correcta.

— Amelio Vazquez-Reina

Sospecho que estoy malentendiendo algo; de lo contrario, awk -F, '{print ++n, $2}'funcionaría. O awk -F, '{print $2}'para la segunda variación.

— G-Man dice 'reinstalar a Monica' el

@ G-Man, eso es probablemente, aunque FNRserviría tan bien como++n

— iruvar

Verificaría tres veces que realmente puedas deshacerte de ese Identificador Uniq ... ¿por qué no agregar una primera (3ra) columna con el índice, pero aún así mantener el identificador? ¿No se usa ese identificador en otro lugar ?

— Olivier Dulac

Respuestas:

No cerca de una terminal para probar, pero ¿qué tal el nlcomando que a menudo se pasa por alto ? Algo como:

cut -f 2 -d , original.csv | nl -w 1 -p -s , > numbered.csv

— obispo
fuente

PD: ¿Un archivo CSV de 200 GB ? ¡Guau, y pensé que trabajar con la Base de datos de números portados de América del Norte como CSV (un par de DVD) fue enorme!

— obispo

Funciona, aunque hay un gran espacio en blanco después del número. Lo reemplazaría con:cut -d, -f 2- /tmp/aa | nl -w 1 -p -s ,

— Ángel

@ Angel: Gracias, actualicé mi respuesta para usar la opción de ancho en -w 1lugar de la numeración izquierda.

— obispo

Gracias @bishop - ¿A dónde van los nombres de archivo de entrada y salida?

— Amelio Vazquez-Reina

@ user815423426 Sí, el cutcomando antes del símbolo de canalización ( |) le dará solo la segunda columna, con números de línea implícitos.

— obispo

Aquí hay algunos enfoques, pero ninguno se acercará a la velocidad de la cuty la nlsolución anterior:

awk

awk -F, '{$1=NR;print $1","$2;}' file.csv > newfile.csv

Perl

perl -pe 's/[^,]+/$./' file.csv > newfile.csv

perl -F, -ane '$F[0]=$.; print join ",", @F' file.csv

Shell (pero no lo recomiendo para un archivo de 200G, llevará años)

i=1; while IFS=, read foo num; do 
        printf "%d,%s\n" $((i++)) $num; 
done < file.csv > newfile.csv

Las soluciones anteriores se ordenan por orden de velocidad. Probé en mi computadora portátil y un archivo de 40M y tomaron (promedio de 10 ejecuciones) 2.2282 (awk), 2.4555 (1er perl), 3.1825s (2do perl) y la friolera de 48.6035s para el shell. El muy inteligente cuty nlsolución ya tiene fue alrededor de 4 veces más rápido en 0.6078s.

— terdon
fuente

Bien, gracias por las estadísticas! El resultado del shell me sorprende, de alguna manera. Si reemplaza printfcon echo, ¿el tiempo mejora significativamente?

— obispo

Archivo 40G procesado en 2.2282 segundos? ¿Dónde puedo conseguirme esa laptop?

— John B

@JohnB umm, sí, lo siento, eso fue 40M, no G :)

— terdon

Me gusta restablecer el $1enfoque con awk. La cutsolución es definitivamente mucho más rápida, pero eso es de esperarse ya que no se reemplaza <alphanumerical_identifier>con nada. Creo que el más rápido awkvariante podría ser algo como: mawk 'BEGIN{FS=OFS=","}{$1=NR}1' file.csv > newfile.csv.

— John B

@ John Ah, sí, supongo que usar en OFSlugar de imprimir explícitamente ,sería un poco más rápido y eso puede sumar una diferencia significativa en un archivo enorme.

— terdon