Preguntas etiquetadas con gnu-parallel

He estado tratando de paralelizar el siguiente script, específicamente cada una de las tres instancias de bucle FOR, usando GNU Parallel, pero no he podido. Los 4 comandos contenidos dentro del ciclo FOR se ejecutan en serie, cada ciclo toma alrededor de 10 minutos. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir …

109 shell-script  gnu-parallel 

Estoy confundido acerca de la diferencia o ventaja (si existe) de ejecutar un conjunto de tareas en un .shscript usandoGNU parallel Por ejemplo , la respuesta de Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png en lugar de decir bucle a través de ellos y ponerlos en segundo …

40 shell-script  background-process  xargs  gnu-parallel 

He estado usando un rsyncscript para sincronizar datos en un host con los datos en otro host. Los datos tienen numerosos archivos de pequeño tamaño que contribuyen a casi 1.2TB. Para sincronizar esos archivos, he estado usando el rsynccomando de la siguiente manera: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects …

18 linux  rhel  rsync  gnu-parallel 

Tengo un problema de scripting de shell en el que recibo un directorio lleno de archivos de entrada (cada archivo contiene muchas líneas de entrada), y necesito procesarlos individualmente, redirigiendo cada una de sus salidas a un archivo único (también conocido como file_1.input necesita para ser capturado en file_1.output, y …

18 scripting  parallelism  gnu-parallel 

En un script más grande para procesar posteriormente algunos datos de simulación, tuve la siguiente línea: parallel bnzip2 -- *.bz2 Lo cual, si entiendo parallelcorrectamente (y puede que no), debería ejecutar subprocesos n-core del programa sobre todos los archivos con la extensión enumerada. Puede notar que escribí mal el comando …

15 gnu-parallel  moreutils-parallel 

Entonces tengo un ciclo while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Pero esto puede llevar mucho tiempo. ¿Cómo usaría GNU Parallel para este ciclo while?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Esperaría que la segunda línea actúe igual.

9 bash  shell  quoting  gnu-parallel 

Estoy cargando un archivo bastante gigantesco en una base de datos postgresql. Para hacer esto, primero lo uso spliten el archivo para obtener archivos más pequeños (30 Gb cada uno) y luego cargo cada archivo más pequeño en la base de datos usando GNU Parallely psql copy. El problema es …

9 files  split  gnu-parallel 

Supongamos que quiero encontrar todas las coincidencias en el archivo de texto comprimido: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateutilizado aquí para medir el rendimiento del tubo. En mi máquina es de aproximadamente 420Mb / s (después de la descompresión). Ahora estoy tratando de …

8 shell  gnu-parallel 

Me gustaría usar la función de GNU paralelo donde puede ejecutar el comando y la lista que se alimenta en paralelo y escupirlo después de que todo esté hecho, sin embargo, no quiero instalar GNU paralelo en todos nuestros servidores. O tal vez una versión paralela de xargs? ¿Existe una …

8 ksh  gnu  parallelism  gnu-parallel