Preguntas etiquetadas con shared-memory

Supongamos que tengo una gran matriz numpy en memoria, tengo una función funcque toma esta matriz gigante como entrada (junto con algunos otros parámetros). funccon diferentes parámetros se pueden ejecutar en paralelo. Por ejemplo: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

Tengo un pequeño problema con uno de mis proyectos. He estado tratando de encontrar un ejemplo bien documentado de uso de memoria compartida con fork() pero sin éxito. Básicamente, el escenario es que cuando el usuario inicia el programa, necesito almacenar dos valores en la memoria compartida: current_path que es …

117 c  linux  fork  shared-memory 

A menudo necesito aplicar una función a los grupos de un muy grande DataFrame(de tipos de datos mixtos) y me gustaría aprovechar varios núcleos. Puedo crear un iterador a partir de los grupos y usar el módulo de multiprocesamiento, pero no es eficiente porque cada grupo y los resultados de …

89 python  pandas  multiprocessing  shared-memory 

Tengo una matriz SciPy de 60 GB (matriz) que debo compartir entre más de 5 multiprocessing Processobjetos. He visto numpy-sharedmem y leí esta discusión en la lista SciPy. Parece haber dos enfoques: numpy-sharedmemusar multiprocessing.RawArray()ay mapear NumPy dtypesa ctypes. Ahora, numpy-sharedmemparece ser el camino a seguir, pero todavía tengo que ver …

88 python  numpy  multiprocessing  shared-memory 

Creé una aplicación que también se puede ejecutar como un -serviceconmutador de servicio (usando un ). Esto funciona perfectamente sin problemas cuando estoy ejecutando el servicio desde un símbolo del sistema (tengo algo configurado que me permite depurarlo desde una consola cuando no se ejecuta como un verdadero servicio). Sin …

8 c#  shared-memory  memory-mapped-files  memory-mapping