¿Cómo llamar a un servicio URL desde bash shell script en paralelo?

Tengo un servicio al que llamo desde otra aplicación. A continuación se muestra la URL de mi servicio al que llamo:

http://www.betaservice.domain.host.com/web/hasChanged?ver=0

Necesito hacer una prueba de carga en mi URL de servicio anterior de manera multiproceso en lugar de llamar secuencialmente uno por uno.

¿Hay alguna forma de script de shell bash, puedo poner una carga en mi URL de servicio anterior llamándolo de manera multiproceso? ¿Puedo tener 60-70 hilos llamando a la URL anterior en paralelo muy rápido si es posible?

No lo llamaría multihilo como tal, pero simplemente podría lanzar 70 trabajos en segundo plano:

for i in {1..70}; do 
   wget http://www.betaservice.domain.host.com/web/hasChanged?ver=0 2>/dev/null &
done

Eso dará como resultado 70 wgetprocesos ejecutándose a la vez. También puedes hacer algo más sofisticado como este pequeño script:

#!/usr/bin/env bash

## The time (in minutes) the script will run for. Change 10
## to whatever you want.
end=$(date -d "10 minutes" +%s);

## Run until the desired time has passed.
while [ $(date +%s) -lt "$end" ]; do 
    ## Launch a new wget process if there are
    ## less than 70 running. This assumes there
    ## are no other active wget processes.
    if [ $(pgrep -c wget) -lt 70 ]; then
        wget http://www.betaservice.domain.host.com/web/hasChanged?ver=0 2>/dev/null &
    fi
done

Prueba ab, también obtienes una buena estadística:

ab -n 10000 -c 70 http://www.betaservice.domain.host.com/web/hasChanged?ver=0

Esta llamada hará 10000 solicitudes con concurrencia de 70 consultas paralelas.

Podría intentar instalar GNU en paralelo. Puede obtener algunos ejemplos paralelos de GNU desde aquí .

Pruebas

Lo instalé gnu-paralleldesde el origen en mi máquina y pude hacerlo funcionar.

Puedes instalarlo desde la fuente desde aquí . Tengo un sistema redhat y descargué el paquete fedora y luego ejecuté el .configure, makey make installpara parallelinstalarlo en mi sistema.

Ahora, después de la instalación exitosa, creé un directorio checkingy ejecuté el siguiente comando.

seq 10 | parallel -n0  wget http://www.betaservice.domain.host.com/web/hasChanged?ver=0

Como se esperaba, el comando anterior me descargó 10 copias de la página web. Puede establecer el número que desee con seq.

Para obtener más información sobre cómo ejecutar el mismo comando en paralelo, puede verificar los ejemplos proporcionados por gnu-parallel desde aquí . Desde la página de ejemplo,

Si desea ejecutar el mismo comando con los mismos argumentos 10 veces en paralelo, puede hacer:

seq 10 | paralelo -n0 mi_comando my_args

EDITAR

Ahora, para aprovechar la parallelejecución, puede usar el comando como,

 seq 70 | parallel -j70 wget http://www.betaservice.domain.host.com/web/hasChanged?ver=0

La -jopción es algo que podría especificar el total de trabajos que se pueden ejecutar en paralelo en función de los núcleos de CPU totales.