¿Cómo puedo establecer el número máximo de trabajos en ejecución por usuario en SGE?


9

Estamos usando SGE (Sun Grid Manager). Tenemos algunas limitaciones en el número total de trabajos simultáneos de todos los usuarios.

Me gustaría saber si es posible establecer un límite temporal y voluntario en el número de trabajos simultáneos en ejecución para un usuario específico.

Por ejemplo, el usuario daveestá a punto de enviar 500 trabajos, pero le gustaría que no más de 100 se ejecuten simultáneamente, por ejemplo, ya que sabe que los trabajos realizan muchas E / S que bloquearon el sistema de archivos (historia verdadera, desafortunadamente).

¿Es eso posible?

Respuestas:


9

Puede definir un complejo con qconf -mc. Llámalo como algo high_ioo lo que quieras, y establece el campo consumible en YES. Luego, ya sea en la configuración global con qconf -me globalo en una cola particular con qconf -mq <queue name>establecer high_io=500en los valores complejos. Ahora diga a sus usuarios que especifiquen -l high_io=1o la cantidad de "tokens" que desea que usen. Esto limitará el número de trabajos simultáneos a lo que establezca el valor complejo.

La otra forma de hacerlo es con cuotas. Agregue una cuota con un qconf -arqsaspecto similar a:

 {
        name         dave_max_slots
        description  "Limit dave to 500 slots"
        enabled      true
        limit        users {dave} to slots=500
 }

Gracias Kamil y perdón por la respuesta tardía. Un par de seguimientos, ya que soy bastante nuevo qconf. Con respecto a su primera sugerencia, ¿podría ser un poco más explícito? ¿Qué es "consumible"? Después de configurar como se mencionó, ¿simplemente le digo al usuario que lo qsubhaga -l high_io=1?
— David B

1
Básicamente, un complejo es un recurso de valor que puede solicitar un trabajo con el -lcambio a qsub. Al establecer que un complejo sea consumible, significa que cuando un trabajo solicita ese complejo, el número disponible disminuye. Entonces, si una cola tiene 500 del complejo high_io, y un trabajo solicita 20, habrá 480 disponibles para otros trabajos. Solicitaría el complejo tal como en su ejemplo.
— Kamil Kisiel

Gracias Kamil Lo siento, no puedo votar (todavía no tengo suficiente reputación).
— David B
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.