Preguntas etiquetadas con parallelism

Supongamos que tengo dos recursos, nombrados 0y 1, a los que solo se puede acceder de forma exclusiva. ¿Hay alguna forma de recuperar el "índice" del "procesador paralelo" que se xargsinicia para usarlo como un servicio gratuito de exclusión mutua? Por ejemplo, considere el siguiente cálculo paralelo: $ echo {1..8} …

14 xargs  parallelism 

Tengo una tarea que procesa una lista de archivos en stdin. El tiempo de inicio del programa es considerable, y la cantidad de tiempo que toma cada archivo varía ampliamente. Quiero generar una cantidad sustancial de estos procesos, luego enviar el trabajo a los que no estén ocupados. Hay varias …

13 xargs  split  parallelism 

Tengo tres tipos de datos que están en diferentes formatos; Para cada tipo de datos, hay un script de Python que lo transforma en un único formato unificado. Este script de Python es lento y está vinculado a la CPU (a un solo núcleo en una máquina multinúcleo), por lo …

10 text-processing  pipe  split  parallelism 

Sé que en la línea de comandos puedo usar &para ejecutar un comando en segundo plano. Pero me pregunto si puedo hacerlo en un guión. Tengo un script como este: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh ./stay/get_it_mix.sh cd stay zip ../stay_$date_stamp.zip ./*201* rm ./stay/!(*py|*sh) Y …

10 bash  background-process  parallelism 

Actualmente estoy teniendo problemas con ddinvocado con un archivo disperso como input ( if) y un archivo como output ( of) con conv=sparse. ddparece estar usando un núcleo de la CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 núcleos + 4 Intel Hyperthreads) solo (100% de 1 núcleo), por lo …

10 linux  dd  parallelism 

Necesito ejecutar pruebas de rendimiento para mi programa concurrente y mi requisito es que se ejecute en un solo núcleo de CPU. (No quiero hilos cooperativos; quiero tener siempre un cambio de contexto). Entonces tengo dos preguntas: La mejor solución: cómo firmar y reservar solo un núcleo de CPU solo …

9 linux  cpu  parallelism 

Estoy usando xargspara llamar a un script de Python para procesar unos 30 millones de archivos pequeños. Espero usar xargspara paralelizar el proceso. El comando que estoy usando es: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Básicamente, Convert.pyleerá en un pequeño …

9 xargs  parallelism 

He escrito un script bash que está en el siguiente formato: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." El whilebucle leerá $inFile, realizará alguna actividad en …

9 shell-script  multithreading  parallelism 

Quiero paralelizar los forbucles del siguiente código. ¿Como hacer esto? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" …

9 bash  shell-script  parallelism 

¿Es esta la forma correcta de iniciar múltiples procesamientos secuenciales en segundo plano? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Todos jdeben procesarse uno tras otro para un determinado i, pero todos ideben procesarse simultáneamente.

8 bash  background-process  for  parallelism 

Digamos que tengo varios scripts de bash que se ejecutan en paralelo, con un código como el siguiente: #!/bin/bash tail -f /dev/null & echo "pid is "$! ¿Se $!garantiza que me dará el PID de la tarea en segundo plano más reciente en ese script , o es la tarea …

8 bash  shell-script  parallelism 

Tengo un proceso embarazosamente paralelo que crea una gran cantidad de archivos casi (pero no completamente) idénticos. ¿Hay alguna manera de archivar los archivos "sobre la marcha", para que los datos no consuman más espacio del necesario? El proceso en sí mismo acepta parámetros de línea de comandos e imprime …

8 filesystems  tar  parallelism  fuse 

Me gustaría usar la función de GNU paralelo donde puede ejecutar el comando y la lista que se alimenta en paralelo y escupirlo después de que todo esté hecho, sin embargo, no quiero instalar GNU paralelo en todos nuestros servidores. O tal vez una versión paralela de xargs? ¿Existe una …

8 ksh  gnu  parallelism  gnu-parallel