Preguntas etiquetadas con parallel-processing

Muchas plataformas promueven la asincronía y el paralelismo como medios para mejorar la capacidad de respuesta. Entiendo la diferencia en general, pero a menudo me resulta difícil articular en mi propia mente, así como para los demás. Soy un programador de trabajo diario y uso asíncrona y devoluciones de llamada …

139 multithreading  asynchronous  parallel-processing 

En caso de que no me preocupe el orden de finalización de la tarea y solo necesito que todos se completen, ¿debería usar en await Task.WhenAlllugar de múltiples await? por ejemplo, ¿está DoWork2debajo de un método preferido para DoWork1(y por qué?): using System; using System.Threading.Tasks; namespace ConsoleApp { class Program …

127 c#  .net  parallel-processing  task-parallel-library  async-await 

Tengo un script de PowerShell para hacer un procesamiento por lotes en un montón de imágenes y me gustaría hacer un procesamiento paralelo. Powershell parece tener algunas opciones de procesamiento en segundo plano, como start-job, wait-job, etc., pero el único recurso bueno que encontré para hacer un trabajo paralelo fue …

125 multithreading  powershell  parallel-processing 

Supongamos que tengo una gran matriz numpy en memoria, tengo una función funcque toma esta matriz gigante como entrada (junto con algunos otros parámetros). funccon diferentes parámetros se pueden ejecutar en paralelo. Por ejemplo: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

Estoy tratando de paralelizar un trazador de rayos. Esto significa que tengo una lista muy larga de pequeños cálculos. El programa básico se ejecuta en una escena específica en 67,98 segundos y 13 MB de uso total de memoria y una productividad del 99,2%. En mi primer intento utilicé la …

114 haskell  parallel-processing  raytracing 

¿Cómo salgo de un ciclo for paralelo ? Tengo una declaración bastante compleja que se parece a la siguiente: Parallel.ForEach<ColorIndexHolder>(ColorIndex.AsEnumerable(), new Action<ColorIndexHolder>((ColorIndexHolder Element) => { if (Element.StartIndex <= I && Element.StartIndex + Element.Length >= I) { Found = true; break; } })); Usando la clase paralela, puedo optimizar este proceso …

111 c#  multithreading  parallel-processing  parallel.foreach 

He estado experimentando con múltiples subprocesos y procesamiento paralelo y necesitaba un contador para hacer un recuento básico y un análisis estadístico de la velocidad del procesamiento. Para evitar problemas con el uso concurrente de mi clase, he usado una declaración de bloqueo en una variable privada en mi clase: …

111 c#  .net  multithreading  locking  parallel-processing 

Uno de los principales ejemplos que se utiliza para demostrar el poder de MapReduce es el punto de referencia Terasort . Tengo problemas para comprender los conceptos básicos del algoritmo de clasificación que se utiliza en el entorno MapReduce. Para mí, clasificar simplemente implica determinar la posición relativa de un …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Me gustaría paralelizar mi programa Python para que pueda hacer uso de múltiples procesadores en la máquina en la que se ejecuta. Mi paralelización es muy simple, ya que todos los "hilos" paralelos del programa son independientes y escriben su salida en archivos separados. No necesito los hilos para intercambiar …

110 python  multithreading  parallel-processing 

¿Cuál es una forma de simplemente esperar a que finalice todo el proceso enhebrado? Por ejemplo, digamos que tengo: public class DoSomethingInAThread implements Runnable{ public static void main(String[] args) { for (int n=0; n<1000; n++) { Thread t = new Thread(new DoSomethingInAThread()); t.start(); } // wait for all threads' run() …

109 java  multithreading  parallel-processing  wait 

Dado este código: var arrayStrings = new string[1000]; Parallel.ForEach<string>(arrayStrings, someString => { DoSomething(someString); }); ¿Se generarán los 1000 hilos casi simultáneamente?

107 c#  .net  c#-4.0  parallel-processing 

Estoy tratando de entender cuál es la diferencia entre SLURM sruny sbatchcomandos. Estaré feliz con una explicación general, en lugar de respuestas específicas a las siguientes preguntas, pero aquí hay algunos puntos específicos de confusión que pueden ser un punto de partida y dar una idea de lo que estoy …

95 parallel-processing  scheduler  jobs  slurm  sbatch 

La documentación del multiprocessingmódulo muestra cómo pasar una cola a un proceso con el que se inició multiprocessing.Process. Pero, ¿cómo puedo compartir una cola con los procesos de trabajo asincrónicos con los que se inició apply_async? No necesito una unión dinámica ni nada más, solo una forma para que los …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

¿Hay alguna forma de crear subprocesos para ejecutar varios métodos a la vez? De esa manera, si algún método falla entre todos los demás subprocesos, se deben eliminar.

91 multithreading  node.js  asynchronous  parallel-processing 

En mi trabajo reciente con Gibbs sampling, he estado haciendo un gran uso del RVarcual, en mi opinión, proporciona una interfaz casi ideal para la generación de números aleatorios. Lamentablemente, no he podido utilizar Repa debido a la imposibilidad de utilizar acciones monádicas en los mapas. Si bien los mapas …

90 arrays  haskell  parallel-processing  repa