Preguntas etiquetadas con batch-processing

Escribí una pieza de software multiproceso que realiza muchas simulaciones al día. Esta es una tarea muy intensiva de CPU, y he estado ejecutando este programa en servicios en la nube, generalmente en configuraciones como 1 GB por núcleo. Estoy ejecutando CentOS 6.7, y /proc/cpuinfome da que mis cuatro núcleos …

34 performance  vps  centos6  performance-tuning  batch-processing 

Según la página de manual, xargs se cerrará si una de las líneas de ejecución sale con un error de 255: Si alguna invocación del comando sale con un estado de 255, xargs se detendrá inmediatamente sin leer ninguna entrada adicional. Cuando esto sucede, se emite un mensaje de error …

27 bash  command-line-interface  batch-processing  xargs 

Me gustaría poder eliminar por lotes miles o decenas de miles de archivos a la vez en S3. Cada archivo tendría entre 1 MB y 50 MB. Naturalmente, no quiero que el usuario (o mi servidor) esté esperando mientras los archivos están en proceso de eliminación. Por lo tanto, las …

16 amazon-s3  batch-processing