Programación multiprocessing

19

Python multiprocessing pool.map para múltiples argumentos

En la biblioteca de multiprocesamiento de Python, ¿hay una variante de pool.map que admita múltiples argumentos? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python multiprocessing

3

multiprocesamiento.Piscina: ¿Cuándo usar apply, apply_async o map?

No he visto ejemplos claros con casos de uso para Pool.apply , Pool.apply_async y Pool.map . Estoy usando principalmente Pool.map; ¿Cuáles son las ventajas de los demás?

290 python multithreading concurrency multiprocessing

8

Python multiprocessing PicklingError: Can't pickle <type 'function'>

Lamento no poder reproducir el error con un ejemplo más simple, y mi código es demasiado complicado para publicar. Si ejecuto el programa en el shell de IPython en lugar del Python normal, las cosas funcionan bien. Busqué algunas notas anteriores sobre este problema. Todos fueron causados por el uso …

243 python multiprocessing pickle python-multiprocessing

21

¿Cómo debo iniciar sesión mientras uso multiprocesamiento en Python?

En este momento tengo un módulo central en un marco que genera múltiples procesos utilizando el multiprocessingmódulo Python 2.6 . Debido a que utiliza multiprocessing, no hay registro de multiprocesamiento-conscientes de nivel de módulo, LOG = multiprocessing.get_logger(). Según los documentos , este registrador tiene bloqueos compartidos de proceso para que …

239 python logging multiprocessing

12

No se puede encurtir <tipo 'instanciametodo'> cuando se utiliza el multiprocesamiento Pool.map ()

Estoy tratando de usar multiprocessingla Pool.map()función para dividir el trabajo simultáneamente. Cuando uso el siguiente código, funciona bien: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Sin embargo, cuando lo uso en un enfoque más orientado a objetos, no …

218 python multithreading multiprocessing pickle pool

1

multiprocesamiento.Piscina: ¿Cuál es la diferencia entre map_async e imap?

Estoy tratando de aprender a usar el multiprocessingpaquete de Python , pero no entiendo la diferencia entre map_asyncy imap. Me di cuenta de que ambos map_asyncy imapse ejecutan de forma asincrónica. Entonces, ¿cuándo debo usar uno sobre el otro? ¿Y cómo debo recuperar el resultado devuelto por map_async? ¿Debo usar …

184 python multiprocessing python-multiprocessing

18

Multiprocesamiento: ¿Cómo usar Pool.map en una función definida en una clase?

Cuando ejecuto algo como: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) funciona bien. Sin embargo, poniendo esto en función de una clase: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Me da el …

179 python multiprocessing pickle

2

Multiprocesamiento - Pipe vs Queue

¿Cuáles son las diferencias fundamentales entre colas y tuberías en el paquete de multiprocesamiento de Python ? ¿En qué escenarios debería uno elegir uno sobre el otro? ¿Cuándo es ventajoso usar Pipe()? ¿Cuándo es ventajoso usar Queue()?

151 python performance queue multiprocessing pipe

1

Concurrent.futures vs Multiprocessing in Python 3

Python 3.2 introdujo Futuros concurrentes , que parecen ser una combinación avanzada de los módulos de multiprocesamiento y subprocesamiento más antiguos . ¿Cuáles son las ventajas y desventajas de usar esto para tareas vinculadas a la CPU sobre el módulo de multiprocesamiento anterior? Este artículo sugiere que es mucho más …

148 python python-3.x multiprocessing

6

¿Cuáles son las diferencias entre los módulos de subprocesamiento y multiprocesamiento?

Estoy aprendiendo cómo utilizar el threadingy los multiprocessingmódulos en Python para ejecutar ciertas operaciones en paralelo y acelerar mi código. Me resulta difícil (tal vez porque no tengo antecedentes teóricos al respecto) comprender cuál es la diferencia entre un threading.Thread()objeto y multiprocessing.Process()uno. Además, no está del todo claro para mí …

141 python multithreading parallel-processing process multiprocessing

10

El teclado interrumpe con el grupo de multiprocesamiento de Python

¿Cómo puedo manejar los eventos de KeyboardInterrupt con los pools de multiprocesamiento de Python? Aquí hay un ejemplo simple: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** …

136 python multiprocessing pool keyboardinterrupt

3

¿Por qué el multiprocesamiento usa solo un núcleo después de importar numpy?

No estoy seguro de si esto cuenta más como un problema del sistema operativo, pero pensé en preguntar aquí en caso de que alguien tenga alguna idea del final de Python. He estado tratando de paralelizar un forciclo de CPU pesado usando joblib, pero encuentro que en lugar de que …

127 python linux numpy multiprocessing blas

4

Objetos de memoria compartida en multiprocesamiento

Supongamos que tengo una gran matriz numpy en memoria, tengo una función funcque toma esta matriz gigante como entrada (junto con algunos otros parámetros). funccon diferentes parámetros se pueden ejecutar en paralelo. Por ejemplo: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

123 python numpy parallel-processing multiprocessing shared-memory

5

RuntimeError en Windows que intenta el multiprocesamiento de Python

Estoy probando mi primer programa formal de Python usando Threading and Multiprocessing en una máquina con Windows. Sin embargo, no puedo iniciar los procesos, y Python muestra el siguiente mensaje. La cuestión es que no estoy lanzando mis hilos en el módulo principal . Los hilos se manejan en un …

122 python windows multiprocessing

5

multiprocesamiento: ¿Cómo comparto un dictado entre múltiples procesos?

Un programa que crea varios procesos que funcionan en una cola que se puede unir Q, y que eventualmente puede manipular un diccionario global Dpara almacenar resultados. (por lo que cada proceso hijo puede usar Dpara almacenar su resultado y también ver qué resultados están produciendo los otros procesos secundarios) …

113 python multiprocessing

Preguntas etiquetadas con multiprocessing