Preguntas etiquetadas con wget

Estoy ejecutando miles de procesos de fondo curl en paralelo en el siguiente script bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Tengo un servidor dedicado Corei7-920 de 49 Gb (no virtual). …

14 linux  performance  bash  curl  wget 

Me sshed para mi servidor y corriendo wget -r -np zzz.aaa/bbb/cccy comenzó a trabajar. Luego, mi conexión a Internet (en mi casa) se interrumpió y me preocupé suponiendo que wgetse había interrumpido hupporque la sshconexión se había perdido y, por lo tanto, la terminal había muerto. Pero luego sshedité en …

13 ssh  terminal  wget  signals 

Me gustaría rastrear enlaces en www.website.com/XYZ y solo descargar los enlaces que están en www.website.com/ABC. Estoy usando el siguiente comando wget para obtener los archivos que quiero: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Esto funciona perfectamente cuando uso wget 1.13.4. Pero el problema es que tengo que …

13 command-line  wget 

Quiero usar wget(desde un script php) para descargar archivos de imagen, pero no quiero descargar archivos de un tamaño determinado. ¿Puedo limitar el tamaño del archivo con wget? Si no, ¿cuál es una mejor manera?

13 files  wget  size 

Estoy escribiendo una secuencia de comandos que implica descargar y manipular un archivo, y quiero asegurarme de que el archivo no esté incompleto (debido, por ejemplo, a una conexión caída) antes de trabajar en él.

13 files  wget  curl  download  corruption 

Tengo un sitio en un servidor que es básicamente un montón de páginas HTML, imágenes y sonidos. He perdido mi contraseña en ese servidor y necesito tomar todo lo que está almacenado allí. Puedo ir página por página y guardar todo, pero el sitio tiene más de 100 páginas. Estoy …

13 wget 

Estoy corriendo wgetasí: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Recibo un montón de estos mensajes: Last-modified header missing -- time-stamps turned off. Supongo que eso significa que las páginas se vuelven a descargar, a pesar de que las tengo localmente. NOTA : Quiero esto para no tener que …

13 wget  web 

Estoy usando wget para descargar una página html estática. El validador W3C me dice que la página está codificada en UTF-8. Sin embargo, cuando atrapo el archivo después de la descarga, obtengo un montón de tonterías binarias. ¿Estoy en Ubuntu y pensé que la codificación predeterminada era UTF-8? Eso es …

12 wget  character-encoding  gzip  http 

Estoy descargando datos distribuidos entre múltiples archivos que no cambian una vez publicados. Por --timestampinglo tanto, no es lo suficientemente bueno, ya que está comprobando constantemente cualquier recurso que se cambie, lo que, en mi caso, es completamente inútil. --no-clobberencajaría perfectamente. Desafortunadamente no funciona con --convert-links por alguna razón. Se …

12 wget  download 

Por ejemplo tengo un enlace http://www.abc.com/123/def/ghi/jkl.mno. Quiero descargarlo usando wgeto curly obtener el nombre del archivo de salida como def_ghi_jkl.mno, donde def_ghise toma la parte del enlace. Pondré este wgetcomando en un script para descargar varios archivos para que no pueda dar explícitamente el nombre del archivo de salida.

12 filenames  wget  curl 

Quiero simplemente poder explorar un sistema de archivos de Dropbox, sin mucha carga adicional en la CPU, memoria, almacenamiento (es decir, sin guardar copias de los archivos remotos localmente). Parece que el cliente oficial consume muchos recursos (y haría operaciones innecesarias como la sincronización): http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Se puede simplemente montarlo …

12 wget  fuse  dropbox  hosting-services  protocols 

Si utiliza la expansión de llaves con wget, puede obtener imágenes numeradas secuencialmente con facilidad: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Obtiene los primeros 10 archivos numerados 90.jpgpara que 99.jpgestén bien, pero 100.jpgluego devuelve un error 404: Archivo no encontrado (solo tengo 100 imágenes almacenadas en el servidor). Estos archivos inexistentes se vuelven …

12 bash  shell-script  wget 

La wgetpágina man indica esto, en la sección para el --random-waitparámetro: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer …

11 wget  man  documentation 

Estoy llamando a una url con wget: /usr/bin/wget --read-timeout=7200 https://site_url/s Wget realiza una solicitud GET cada 15 minutos en este caso, a pesar del tiempo de espera establecido, ¿por qué sucede esto? La llamada solo debe hacerse una vez, ¿cómo puedo configurar wget para NO reintentar? Sé que puedes configurarlo, …

11 linux  rhel  wget 

wget es una herramienta muy útil para descargar cosas en Internet rápidamente, pero ¿puedo usarla para descargar desde sitios de alojamiento, como FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? Si es así, ¿cómo puedo hacer eso?

11 wget  download  hosting-services