Preguntas etiquetadas con python-multiprocessing

3
Multiprocesamiento de Python: comprensión de la lógica detrás de `chunksize`
¿Qué factores determinan un chunksizeargumento óptimo para métodos como multiprocessing.Pool.map()? El .map()método parece utilizar una heurística arbitraria para su tamaño de trozo predeterminado (explicado a continuación); ¿Qué motiva esa elección y hay un enfoque más reflexivo basado en alguna situación o configuración particular? Ejemplo: digamos que soy: Pasar un iterablea …
3
¿Es posible ejecutar la función en un subproceso sin enhebrar o escribir un archivo / script separado?
import subprocess def my_function(x): return x + 100 output = subprocess.Popen(my_function, 1) #I would like to pass the function object and its arguments print output #desired output: 101 Solo he encontrado documentación sobre la apertura de subprocesos utilizando scripts separados. ¿Alguien sabe cómo pasar objetos de función o incluso una …
2
¿Cómo implementar paralelo, retrasado de tal manera que el ciclo paralelo para se detiene cuando la salida va por debajo de un umbral?
Supongamos que tengo el siguiente código: from scipy import * import multiprocessing as mp num_cores = mp.cpu_count() from joblib import Parallel, delayed import matplotlib.pyplot as plt def func(x,y): return y/x def main(y, xmin,xmax, dx): x = arange(xmin,xmax,dx) output = Parallel(n_jobs=num_cores)(delayed(func)(i, y) for i in x) return x, asarray(output) def demo(): …
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.