Preguntas etiquetadas con gnu-parallel

Estoy tratando de procesar la entrada de diferentes maneras en paralelo, escribiendo las líneas resultantes a medida que entran. Mi enfoque actual es este: # process_parallel.sh read input parallel --colsep ' ' --linebuffer 'echo $input | {}' \ ::: 'python process1.py' ./process2.sh ./process3 El contexto se reduce a algo como …

2 bash  gnu-parallel 

Estoy usando gnu-parallel para ejecutar una serie de scripts de Python en paralelo a través de varias computadoras en mi red de gigabit. Los archivos que se procesan se encuentran en una carpeta tmpfs (RAM) en mi nodo maestro. Cuando comienzo un proceso paralelo, puedo ver que todos los núcleos …

1 networking  python  parallel-processing  gnu-parallel