Ejecutar miles de procesos de fondo curl en paralelo en script bash

Estoy ejecutando miles de procesos de fondo curl en paralelo en el siguiente script bash

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

Tengo un servidor dedicado Corei7-920 de 49 Gb (no virtual).

Rastreo el consumo de memoria y la CPU a través del topcomando y están lejos de los límites.

Estoy usando ps aux | grep curl | wc -lpara contar la cantidad de procesos de rizo actuales . Este número aumenta rápidamente hasta 2-4 mil y luego comienza a disminuir continuamente.

Si agrego un análisis simple a través de la curvatura de la tubería a awk ( curl | awk > output), el número de procesos de curvatura aumenta a solo 1-2 mil y luego disminuye a 20-30 ...

¿Por qué el número de procesos disminuye tan dramáticamente? ¿Dónde están los límites de esta arquitectura?

Siguiendo la pregunta estricta:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Más corto si no necesita el texto repetitivo alrededor de los tiempos:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Si desea ejecutar 1000 en paralelo, alcanzará algunos límites (como los identificadores de archivo). Levantar ulimit -n o /etc/security/limits.conf puede ayudar.

for i in {1..100000}

Solo hay 65536 puertos. Acelera esto.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(editar: (editar: eliminar la afirmación con fecha severa sobre los límites del sistema operativo y agregar los que faltan )echocurl
wait