Wget: convertir enlaces y evitar volver a descargar archivos ya recuperados?

12

Estoy descargando datos distribuidos entre múltiples archivos que no cambian una vez publicados.

Por --timestampinglo tanto, no es lo suficientemente bueno, ya que está comprobando constantemente cualquier recurso que se cambie, lo que, en mi caso, es completamente inútil.

--no-clobberencajaría perfectamente. Desafortunadamente no funciona con --convert-links por alguna razón.

Se especificaron --no-clobber y --convert-links, solo se usarán --convert-links.

Esperaba que eso --backup-convertedayudara, pero no cambió nada (funciona --timestamping).

¿Por qué wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignora --no-clobbery cómo podría solucionarse?

wget download

— actividad reductora
fuente

Golpeando ese mismo problema hoy. ¿Cómo lo resolviste?

— Angelo Fuchs

1

@AngeloFuchs Nunca lo resolví (publicaría una respuesta si eso sucediera). Al final, en mi caso, volver a descargar enlaces recuperados fue más simple que parchear wget o cambiar a otra cosa.

— reducción de la actividad

intentaste --continue? Por lo general, esto está destinado a continuar una descarga previamente cancelada. pero si el archivo ya fue recuperado, no hace nada.

— JPT

1

¿Alguna posibilidad de usar rsync? Deberá tener acceso ssh al sistema. (Nunca he visto rsync usado para http: // descargas).

Algo como esto obtendrá archivos que nunca ha recibido y volverá a recoger los archivos que dejaron de descargarse por alguna razón.

rsync -avzheP ssh root@192.168.0.100:/remotefolder/ /localfolder/

Esto puede no funcionar para usted. No hay suficiente información sobre lo que está tratando de hacer.

— Mark Stewart
fuente

-2

No puedes usar ambos --convert-linksy --no-clobber. Recibirá este mensaje:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetpuede lograr lo que quiere, si especifica --convert-linksy --timestamping. Pero esto solo funcionará si el sitio de destino proporciona la información de marca de tiempo del archivo en los encabezados de respuesta.

— RashaMatt
fuente

Esta respuesta no tiene nada que no haya sido mencionado en la primera revisión ( unix.stackexchange.com/posts/177330/revisions ) de mi pregunta.

— reducción de la actividad