Ejecución de varios trabajadores con apio

11

Necesito leer de Rabbitmq y ejecutar tareas en paralelo usando Celery en un solo sistema.

[2014-12-30 15:54:22,374: INFO/Worker-1] ...   
[2014-12-30 15:54:23,401: INFO/Worker-1] ...
[2014-12-30 15:54:30,878: INFO/Worker-1] ...
[2014-12-30 15:54:32,209: INFO/Worker-1] ...
[2014-12-30 15:54:33,255: INFO/Worker-1] ...
[2014-12-30 15:54:48,445: INFO/Worker-1] ...
[2014-12-30 15:54:49,811: INFO/Worker-1] ...
[2014-12-30 15:54:50,903: INFO/Worker-1] ...
[2014-12-30 15:55:39,674: INFO/Worker-1] ...
[2014-12-30 15:55:41,024: INFO/Worker-1] ...
[2014-12-30 15:55:42,147: INFO/Worker-1] ...

Parece que solo 1 trabajador está funcionando todo el tiempo ... es decir, uno tras otro en orden secuencial. ¿Cómo puedo configurar Celery para ejecutar varios trabajadores para que funcionen en paralelo?

python celery

— SrC
fuente

17

Ahora he actualizado mi respuesta después del comentario de MartinP con respecto a los procesos secundarios de generación de trabajadores, no hilos:

Apio workery worker processesson cosas diferentes ( Lea esto como referencia ).

Cuando se inicia un trabajador, genera un cierto número de procesos secundarios.

El número predeterminado de esos procesos es igual a un número de núcleos en esa máquina.

En Linux puede verificar el número de núcleos a través de:

$ nproc --all

De lo contrario, puede especificarlo usted mismo, por ejemplo:

$ celery -A proj worker --loglevel=INFO --concurrency=2

En el ejemplo anterior, hay un trabajador que podrá generar 2 procesos secundarios. Normalmente se recomienda ejecutar un solo trabajador por máquina y el valor de concurrencia definirá cuántos procesos se ejecutarán en paralelo, pero si se requieren varios trabajadores para ejecutar, puede iniciarlos como se muestra a continuación:

$ celery -A proj worker -l info --concurrency=4 -n wkr1@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr2@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr3@hostname

Consulte los documentos de apio para obtener más información.

— elnurcoot
fuente

3

El parámetro concurency no ejecuta subprocesos. Ejecuta procesos secundarios de manera predeterminada, por lo que procesa tareas en paralelo - docs.celeryproject.org/en/latest/reference/…

— MartinP

¿Cómo se relacionan la concurrencia y los hilos? Si la concurrencia predeterminada es el número de núcleos de la máquina, ¿cuál será el número de hilos? ¿Es configurable?

— Thomas John

@ThomasJohn Creo que el número predeterminado de subprocesos sigue siendo el número de núcleos de la máquina. En general, querrá establecer el indicador de --concurrencia alto para los trabajadores basados en subprocesos.

— FragLegs

0

He encontrado esto

http://docs.celeryproject.org/en/latest/reference/celery.html?highlight=parallel

Puede buscar primitivas de Canvas allí, puede ver cómo hacer grupos para ejecución paralela.

class celery.group (task1 [, task2 [, task3 [, ... taskN]]]) Crea un grupo de tareas que se ejecutarán en paralelo.

De lo contrario, una buena manera es ir al canal IRC y hacer preguntas especiales. Normalmente hay personas que lo saben muy bien y pueden ayudarlo.

— René Höhle
fuente

0

Parece que su trabajador solo está ejecutando un solo proceso / hilo. Probablemente solo necesite agregar el argumento --concurrencyo-c al iniciar el trabajador para generar múltiples instancias de trabajador (paralelas).

celery -A proj worker -c 4

— Jamie B
fuente