Cuatro tareas en paralelo ... ¿cómo hago eso?

Tengo un montón de imágenes PNG en un directorio. Tengo una aplicación llamada pngout que ejecuto para comprimir estas imágenes. Esta aplicación es llamada por un script que hice. El problema es que este script hace uno a la vez, algo como esto:

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

Procesar solo un archivo a la vez, lleva mucho tiempo. Después de ejecutar esta aplicación, veo que la CPU es solo del 10%. Entonces descubrí que puedo dividir estos archivos en 4 lotes, poner cada lote en un directorio y disparar 4, desde cuatro ventanas de terminal, cuatro procesos, por lo que tengo cuatro instancias de mi script, al mismo tiempo, procesando esas imágenes y el El trabajo toma 1/4 del tiempo.

El segundo problema es que perdí el tiempo dividiendo las imágenes y lotes y copiando el script en cuatro directorios, abriendo 4 ventanas de terminal, bla bla ...

¿Cómo hacer eso con un script, sin tener que dividir nada?

Me refiero a dos cosas: primero, ¿cómo hago desde un script bash, disparo un proceso a un segundo plano? (¿solo agregar & al final?) Segundo: ¿cómo dejo de enviar tareas a un segundo plano después de enviar las cuartas tareas y pongo el script en espera hasta que finalicen las tareas? Quiero decir, ¿simplemente enviar una nueva tarea a un segundo plano cuando finaliza una tarea, manteniendo siempre 4 tareas en paralelo? si no lo hago, el bucle disparará millones de tareas a un segundo plano y la CPU se obstruirá.

Si tiene una copia de la xargsque es compatible con la ejecución paralela -P, simplemente puede hacer

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

Para otras ideas, el wiki de Wooledge Bash tiene una sección en el artículo de Gestión de Procesos que describe exactamente lo que desea.

Además de las soluciones ya propuestas, puede crear un archivo MAKE que describa cómo hacer un archivo comprimido sin comprimir y usar make -j 4 para ejecutar 4 trabajos en paralelo. El problema es que necesitará nombrar los archivos comprimidos y sin comprimir de manera diferente, o almacenarlos en diferentes directorios, de lo contrario será imposible escribir una regla de creación razonable.

Si tiene GNU Parallel http://www.gnu.org/software/parallel/ instalado , puede hacer esto:

parallel ./pngout -s0 {} R{} ::: *.png

Puede instalar GNU Parallel simplemente por:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

Mire los videos de introducción de GNU Parallel para obtener más información: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Para responder a sus dos preguntas:

• Sí, agregar & al final de la línea le indicará a Shell que inicie un proceso en segundo plano.
• utilizando el waitcomando, puede pedirle al shell que espere a que finalicen todos los procesos en segundo plano antes de continuar.

Aquí está el script modificado para que jse use para realizar un seguimiento de la cantidad de procesos en segundo plano. Cuando NB_CONCURRENT_PROCESSESse alcanza, el script se restablecerá ja 0 y esperará a que finalicen todos los procesos en segundo plano antes de reanudar su ejecución.

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done