Preguntas etiquetadas con wget

Si tengo una lista de URL separadas \n, ¿hay alguna opción que pueda pasar para wgetdescargar todas las URL y guardarlas en el directorio actual, pero solo si los archivos aún no existen?

11 wget  download  options 

wget tiene la opción de -npdeshabilitar la obtención de archivos desde cualquier directorio padre. Necesito algo similar pero un poco más flexible. Considerar: www.foo.com/bar1/bar2/bar3/index.html Me gustaría obtener todo pero no "más alto" (en la jerarquía del árbol) que bar2(!). Por bar2lo tanto , también debe buscarse pero no bar1. ¿Hay …

11 wget  mirror  tree 

Tenemos un script que descarga mod security de github que recientemente comenzó a fallar. Los servidores ejecutan CentOS 6 pero RHEL 6 probablemente tenga el mismo problema. El resultado es: # wget https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz --2014-07-22 18:49:46-- https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz Resolving github.com... 192.30.252.129 Connecting to github.com|192.30.252.129|:443... connected. HTTP request sent, awaiting response... 302 Found …

10 centos  wget  github 

Me gustaría aplicar este parche, así que copié el código que comienza en "Index: src / options.h" y termina con "+ @ item" y lo coloca en un nuevo archivo creado en wgetla carpeta de código fuente. Entonces hice: $ patch -p0 < name_of_patch (Patch is indented 1 space.) patching …

10 wget  patch 

Estoy wgetcreando archivos enormes (más de 100 GB) y luego comparo mi md5sum con la suma publicada en el repositorio. Lo creas o no, md5sumlleva una cantidad de tiempo no trivial para ejecutarse en un archivo de este tamaño, por lo que me gustaría obtener la suma en paralelo con …

10 wget  checksum 

Estoy escribiendo un script bash que usa ampliamente wget. Para definir todos los parámetros comunes en un lugar, los almaceno en variables. Aquí hay un fragmento de código: useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"' cookies_file="/tmp/wget-cookies.txt" save_cookies_cmd="--save-cookies $cookies_file --keep-session-cookies" load_cookies_cmd="--load-cookies $cookies_file --keep-session-cookies" function mywget { log "#!!!!!!!!!# WGET #!!!!!!!!!# …

10 bash  wget  variable-substitution 

Estoy tratando de descargar un archivo a través de HTTP desde un sitio web usando wget. Cuando uso: wget http://abc/geo/download/?acc=GSE48191&format=file Solo recibo un archivo llamado index.html?acc=GSE48191. Cuando uso: wget http://abc/geo/download/?acc=GSE48191&format=file -o asd.rpm Obtengo asd.rpm, pero quiero descargar con el nombre real, y no quiero cambiar manualmente el nombre del archivo …

9 filenames  wget 

Soy bastante nuevo wget. Solo necesito saber cómo puedo configurar la carpeta de destino donde se guardan las descargas. Yo creo que si --directory-prefix. Gracias,

9 wget 

Estoy descargando la página fuente HTML de un sitio web usando el cURLcomando. El problema es que no quiero la mayoría de los contenidos en la página. Solo necesito las primeras 100 líneas de la página de origen. ¿Hay alguna manera de detener la descarga de la página después de …

9 wget  curl 

Imagina algo como esto: $ curlsh http://www.example.org > GET /foo/bar/bam ...output here... > POST /thing/pool ... ... result here.... ¿Hay alguna herramienta que me permita hacer eso?

9 wget  curl 

Quiero descargar https://example.comusando el wgetcomando, pero dice "protocolo no admitido / no reconocido". Intenté usar el --secure protocol=''pero eso no funciona. Descargué el archivo tar de GNU wget e intenté configurarlo, pero fallé. Aquí hay un ejemplo de lo que veo: bash-2.05$ wget https://www.facebook.com/ https://www.facebook.com/: Unknown/unsupported protocol. bash-2.05$ Hola amigos, …

9 wget  https 

Yo uso el wgetcomando en segundo plano como este wget -bq y se imprime Continuando en segundo plano, pid 31754. Pero cuando escribo el comando jobs, no veo mi trabajo (aunque la descarga no ha finalizado).

8 command-line  wget  background-process  job-control 

Quiero probar cómo se comportaría mi sitio al ser arañado. Sin embargo, quiero excluir todas las URL que contengan la palabra "página". Lo intenté: $ wget -r -R "*page*" --spider --no-check-certificate -w 1 http://mysite.com/ Se -Rsupone que la bandera rechaza el patrón de URL que contiene la palabra "página". Excepto …

8 wget  url 

Estoy tratando de encontrar un método realmente rápido para determinar las dimensiones de una imagen. Sé que podría mover la imagen y luego usar imagemagick para determinar la altura y el ancho de la imagen. Me preocupa que esta no sea la forma más rápida de hacerlo. También me preocupa …

8 bash  wget  imagemagick 

Una de las principales deficiencias curles que cada vez más páginas web tienen su contenido principal pintado por una respuesta JavaScript AJAX que ocurre después de la respuesta HTTP inicial. curlnunca recoge este contenido post-pintado. Por lo tanto, para obtener este tipo de páginas web desde la línea de comandos, …

8 wget  http  html  curl  selenium