Preguntas etiquetadas con parallelism

Hay una lista de direcciones IP en un archivo .txt, por ejemplo: 1.1.1.1 2.2.2.2 3.3.3.3 Detrás de cada dirección IP hay un servidor, y en cada servidor hay un sshd ejecutándose en el puerto 22. No todos los servidores están en la known_hostslista (en mi PC, Ubuntu 10.04 LTS / …

46 ssh  scripting  parallelism 

Estoy usando el procesador cuádruple IMX6 de freescale. Quiero saber si el topcomando enumera el uso de CPU de los 4 núcleos o de un solo núcleo. Veo que el uso de la CPU de una aplicación es el mismo con 4 núcleos y con un solo núcleo. Supuse que …

46 linux  top  parallelism  cpu-usage 

Tengo una carpeta que tiene más de 250 archivos de 2 GB cada uno. Necesito buscar una cadena / patrón en esos archivos y generar el resultado en un outputarchivo. Sé que puedo ejecutar el siguiente comando, ¡pero es demasiado lento! grep mypattern * > output Quiero acelerarlo Siendo un …

38 grep  parallelism 

Necesito descargar un archivo grande (1 GB). También tengo acceso a varias computadoras que ejecutan Linux, pero cada una está limitada a una velocidad de descarga de 50kB / s por una política de administración. ¿Cómo distribuyo la descarga de este archivo en varias computadoras y las combino después de …

38 download  cluster  parallelism 

¿Hay alguna herramienta / comando en Linux que pueda usar para ejecutar un comando en más de una pestaña simultáneamente? Quiero ejecutar el mismo comando: ./myprog argument1 argument2simultáneamente en más de un shell para verificar si los mutexes funcionan bien en un programa enhebrado. Quiero poder aumentar el número de …

33 shell  terminal  parallelism 

Quiero compilar lo más rápido posible. Imagínate. Y me gustaría automatizar la elección del número que sigue a la -jopción. ¿Cómo puedo elegir programáticamente ese valor, por ejemplo, en un script de shell? ¿La salida es nprocequivalente a la cantidad de hilos que tengo disponibles para compilar? make -j1 make …

31 linux  make  cpu  parallelism  multiprocessor 

Bajo el supuesto de que la E / S de disco y la RAM libre es un cuello de botella (mientras que el tiempo de CPU no es la limitación), ¿existe una herramienta que pueda calcular múltiples resúmenes de mensajes a la vez? Estoy particularmente interesado en calcular los resúmenes …

25 shell-script  hashsum  parallelism 

Tengo un montón de imágenes PNG en un directorio. Tengo una aplicación llamada pngout que ejecuto para comprimir estas imágenes. Esta aplicación es llamada por un script que hice. El problema es que este script hace uno a la vez, algo como esto: FILES=(./*.png) for f in "${FILES[@]}" do echo …

23 shell  background-process  parallelism 

Supongamos que tengo tres (o más) scripts bash: script1.sh, script2.sh, y script3.sh. Me gustaría llamar a estos tres scripts y ejecutarlos en paralelo . Una forma de hacerlo es simplemente ejecutar los siguientes comandos: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (En general, los scripts …

19 bash  shell-script  background-process  parallelism 

Tengo un problema de scripting de shell en el que recibo un directorio lleno de archivos de entrada (cada archivo contiene muchas líneas de entrada), y necesito procesarlos individualmente, redirigiendo cada una de sus salidas a un archivo único (también conocido como file_1.input necesita para ser capturado en file_1.output, y …

18 scripting  parallelism  gnu-parallel 

Estoy usando xargscon la opción --max-args=0(alternativamente -P 0). Sin embargo, la salida de los procesos se fusiona en la stdoutsecuencia sin tener en cuenta la separación de línea adecuada. Así que a menudo terminaré con líneas como: <start-of-line-1><line-2><end-of-line-1> Como estoy usando egrepcon ^mi patrón en toda la xargsproducción este es …

17 process  io  xargs  parallelism 

Tengo un script de shell bash en el que canalizo algunos datos a través de aproximadamente 5 o 6 programas diferentes y luego los resultados finales en un archivo delimitado por tabulaciones. Luego hago lo mismo nuevamente para un conjunto de datos similar por separado y la salida a un …

17 scripting  parallelism 

Puedo conectarme a una máquina remota que tiene 64 núcleos. Digamos que necesito ejecutar 640 scripts de shell en paralelo en esta máquina. ¿Cómo hago esto? Puedo ver dividir los 640 scripts en 64 grupos, cada uno de 10 scripts. ¿Cómo podría ejecutar cada uno de estos grupos en paralelo …

16 parallelism 

Considere el siguiente escenario. Tengo dos programas A y B. El programa A sale a líneas de cadenas estándar mientras que el programa B procesa líneas desde stdin. La forma de usar estos dos programas es, por supuesto: foo @ bar: ~ $ A | si Ahora he notado que …

16 shell  parallelism 

Encontré solo puf (Buscador de URL paralelo) pero no pude hacerlo leer las URL de un archivo; algo como puf < urls.txt tampoco funciona El sistema operativo instalado en el servidor es Ubuntu.

15 ubuntu  wget  parallelism