Haga que wget no descargue archivos de más de X


11

Vale, me rindo. ¿Cómo limito el tamaño de los archivos que se descargan, como decir que no quiero ningún archivo de más de 2 MB?

Respuestas:


6

La única opción de limitación que sé qué wgetsoporte es el -Qcambio de cuota. Sin embargo, esto no es lo que desea, ya que se detendrá después de un límite combinado de todos los archivos que ha descargado, no individualmente. Conectar cada enlace por separado con el -Qinterruptor tampoco funcionará, como se explica en la página del manual .

No sé qué entorno está utilizando, pero el rastreador admite limitaciones de tamaño de archivo con bytes de longitud máxima y se ejecuta en la plataforma Java.

de su manual de usuario :

  • max-length-bytes

Número máximo de bytes para descargar por documento. Truncará el archivo una vez que se alcance este límite.

Por defecto, este valor se establece en un valor extremadamente grande (en el rango exabyte) que nunca se alcanzará en la práctica.


Hmmm Bueno. Eso reiteró mucho de lo que descubrí, pero una buena respuesta de todos modos. Sin embargo, no sabía que Heritrix truncaba los archivos en lugar de omitirlos.
Nathaniel

3

Si se trata de " descargar 2 MB como máximo " en lugar de " descargar archivos con un máximo de 2 MB ", puede limitar la salida guardada en el disco.

wget -O - $url |head -c 1024(con un opcional > $SaveAsFile) -> guarda el primer KB y el resto se trunca.

(suficiente para ver un " OK: $ Mensaje ", no mata mi / tmp con toneladas de mensajes de error desde el control remoto ;-))


Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.