descargar una url a granel y nombre con la url

¿Hay alguna manera de cargar una lista de urls ... descargar el contenido en una carpeta y el nombre de cada descarga es el nombre del url? Tengo alrededor de 1000 de estos url que se pueden descargar como archivos PDF.

http://www.swarovski-lighting.com/ws/web/coredatasheetstreamer.html?corepart=1239&region=1

download url

— Jon McMahan
fuente

En realidad, hay un par de formas para hacer esto, pero no son independientes de qué sistema operativo tiene y qué herramientas está acostumbrado.

— Gombai Sándor

¿Son todas las URL que tienes de ese sitio web? es decir, todos ellos tienen direcciones URL que no terminan con una extensión de archivo como .pdf, o ¿tiene muchas direcciones URL de diferentes sitios? Tengo una solución de PowerShell, pero no funcionará en ninguna URL que no se resuelva en un nombre de archivo o que tenga un signo de interrogación en la URL.

— Narzard

Todos ellos son del mismo sitio. Ya he creado las urls ... la única diferencia en cada url es el código: 1239 ... debería ser 2995 o 3601 o 5077, etc.

— Jon McMahan

Ok, publicar una respuesta en breve, ¿estás en Windows?

— Narzard

Cree un archivo llamado urllist.txt y pegue todas sus URL en él. Todos deberían comenzar en una nueva línea, ejemplo:

http://www.swarovski-lighting.com/ws/web/coredatasheetstreamer.html`?corepart=1239&region=1
https://www.dell.com/downloads/global/products/pedge/en/1750_specs.pdf
http://www.pizzahut.com/assets/w/nutrition/BrandStandardNutritionalInformationFINAL111314.pdf

SI HAY UNA URL CON UNA? EN ELLA, AÑADIR UN ACENTO GRAVE ANTES DE ESTO . Muestra en la primera URL anterior. La forma más sencilla de hacerlo es pegar todas las URL en el bloc de notas y luego usar buscar / reemplazar. ¿Buscar?, Reemplazar con `? Tenga en cuenta que la clave grave no es la clave de comillas simples, sino la clave sobre la tecla de tabulación con la tilde.

Abre el bloc de notas y pega el siguiente código:

Get-Content urllist.txt | ForEach-Object {Invoke-WebRequest $_ -OutFile $(Split-Path $_.replace('?', ' ').replace('&', ' ').replace('=', ' ') -Leaf)}
Read-Host -Prompt "Press Enter to exit"

Guardar este archivo como descargar archivos.ps1

Asegúrese de guardar este archivo en la misma carpeta que urllist.txt

Puede hacer clic derecho en el archivo y ejecutar con powershell.

— Narzard
fuente