Preguntas etiquetadas con multiprocessing

Me gustaría usar una matriz numpy en memoria compartida para usar con el módulo de multiprocesamiento. La dificultad es usarlo como una matriz numpy, y no solo como una matriz ctypes. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create the …

111 python  numpy  multiprocessing  shared 

Aprender sobre el multiprocesamiento de Python (de un artículo de PMOTW ) y me encantaría una aclaración sobre qué join()está haciendo exactamente el método. En un viejo tutorial de 2008 , establece que sin la p.join()llamada en el código siguiente, "el proceso hijo permanecerá inactivo y no terminará, convirtiéndose en …

110 python  multiprocessing 

Descubrí que en Python 3.4 hay pocas bibliotecas diferentes para multiprocesamiento / subprocesamiento: multiprocesamiento vs subprocesamiento vs asyncio . Pero no sé cuál usar o es el "recomendado". ¿Hacen lo mismo o son diferentes? Si es así, ¿cuál se usa para qué? Quiero escribir un programa que use multinúcleos en …

108 python  multithreading  python-3.x  multiprocessing  python-asyncio 

¿Los procesos secundarios generados a través del multiprocesamiento comparten objetos creados anteriormente en el programa? Tengo la siguiente configuración: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Estoy cargando un gran objeto en …

107 python  multiprocessing 

Para hacer que mi código sea más "pitónico" y más rápido, utilizo "multiprocesamiento" y una función de mapa para enviarlo a) la función yb) el rango de iteraciones. La solución implantada (es decir, llamar a tqdm directamente en el rango tqdm.tqdm (rango (0, 30)) no funciona con multiprocesamiento (como se …

103 python  multiprocessing  progress-bar  tqdm 

¿Sería posible crear un grupo de Python que no sea demoníaco? Quiero que un grupo pueda llamar a una función que tenga otro grupo dentro. Quiero esto porque los procesos deamon no pueden crear procesos. Específicamente, causará el error: AssertionError: daemonic processes are not allowed to have children Por ejemplo, …

96 python  multiprocessing  pool 

Tengo un script que está realizando con éxito un conjunto de tareas de grupo de multiprocesamiento con una imap_unordered()llamada: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Sin embargo, mi num_taskses alrededor de 250,000, por lo que join()bloquea el hilo principal …

95 python  multiprocessing 

Tengo muchos problemas para tratar de entender cómo funciona la cola de multiprocesamiento en Python y cómo implementarla. Digamos que tengo dos módulos de Python que acceden a datos desde un archivo compartido, llamemos a estos dos módulos un escritor y un lector. Mi plan es que tanto el lector …

94 python  multithreading  multiprocessing 

La documentación del multiprocessingmódulo muestra cómo pasar una cola a un proceso con el que se inició multiprocessing.Process. Pero, ¿cómo puedo compartir una cola con los procesos de trabajo asincrónicos con los que se inició apply_async? No necesito una unión dinámica ni nada más, solo una forma para que los …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Intenté leer la documentación en http://docs.python.org/dev/library/multiprocessing.html pero todavía estoy luchando con el multiprocesamiento de cola, agrupación y bloqueo. Y por ahora pude construir el siguiente ejemplo. Con respecto a la cola y la agrupación, no estoy seguro de haber entendido el concepto correctamente, así que corrígeme si me equivoco. Lo …

91 python  python-2.7  multiprocessing 

A menudo necesito aplicar una función a los grupos de un muy grande DataFrame(de tipos de datos mixtos) y me gustaría aprovechar varios núcleos. Puedo crear un iterador a partir de los grupos y usar el módulo de multiprocesamiento, pero no es eficiente porque cada grupo y los resultados de …

89 python  pandas  multiprocessing  shared-memory 

Tengo una matriz SciPy de 60 GB (matriz) que debo compartir entre más de 5 multiprocessing Processobjetos. He visto numpy-sharedmem y leí esta discusión en la lista SciPy. Parece haber dos enfoques: numpy-sharedmemusar multiprocessing.RawArray()ay mapear NumPy dtypesa ctypes. Ahora, numpy-sharedmemparece ser el camino a seguir, pero todavía tengo que ver …

88 python  numpy  multiprocessing  shared-memory 

Intenté reescribir un código de lectura csv para poder ejecutarlo en varios núcleos en Python 3.2.2. Traté de usar el Poolobjeto de multiprocesamiento, que adapté de ejemplos de trabajo (y ya me funcionó para otra parte de mi proyecto). Me encontré con un mensaje de error que encontré difícil de …

87 python  python-3.x  multiprocessing  pool 

¿Qué factores determinan un chunksizeargumento óptimo para métodos como multiprocessing.Pool.map()? El .map()método parece utilizar una heurística arbitraria para su tamaño de trozo predeterminado (explicado a continuación); ¿Qué motiva esa elección y hay un enfoque más reflexivo basado en alguna situación o configuración particular? Ejemplo: digamos que soy: Pasar un iterablea …

84 python  python-3.x  parallel-processing  multiprocessing  python-multiprocessing 

¿Cómo se utiliza el multiprocesamiento para abordar problemas embarazosamente paralelos ? Los problemas vergonzosamente paralelos suelen constar de tres partes básicas: Leer datos de entrada (de un archivo, base de datos, conexión tcp, etc.). Ejecute cálculos sobre los datos de entrada, donde cada cálculo es independiente de cualquier otro cálculo …

82 python  concurrency  multiprocessing  embarrassingly-parallel