Descarga básica de archivos http y guardar en disco en python?

Soy nuevo en Python y he estado revisando las preguntas y respuestas de este sitio para obtener una respuesta a mi pregunta. Sin embargo, soy un principiante y me resulta difícil entender algunas de las soluciones. Necesito una solución muy básica.

¿Podría alguien explicarme una solución simple para 'Descargar un archivo a través de http' y 'Guardarlo en el disco, en Windows'?

Tampoco estoy seguro de cómo usar los módulos shutil y os.

El archivo que quiero descargar tiene menos de 500 MB y es un archivo .gz. Si alguien puede explicar cómo extraer el archivo y utilizar los archivos también, ¡sería genial!

Aquí hay una solución parcial, que escribí a partir de varias respuestas combinadas:

import requests
import os
import shutil

global dump

def download_file():
    global dump
    url = "http://randomsite.com/file.gz"
    file = requests.get(url, stream=True)
    dump = file.raw

def save_file():
    global dump
    location = os.path.abspath("D:\folder\file.gz")
    with open("file.gz", 'wb') as location:
        shutil.copyfileobj(dump, location)
    del dump

¿Podría alguien señalar errores (nivel principiante) y explicar métodos más fáciles para hacer esto?

¡Gracias!

Una forma limpia de descargar un archivo es:

import urllib

testfile = urllib.URLopener()
testfile.retrieve("http://randomsite.com/file.gz", "file.gz")

Esto descarga un archivo de un sitio web y lo nombra file.gz. Esta es una de mis soluciones favoritas, desde Descargar una imagen a través de urllib y python .

Este ejemplo utiliza la urllibbiblioteca y recuperará directamente el archivo de una fuente.

Como se menciona aquí :

import urllib
urllib.urlretrieve ("http://randomsite.com/file.gz", "file.gz")

EDIT:Si aún desea utilizar solicitudes, eche un vistazo a esta pregunta o esta .

Yo uso wget .

¿Biblioteca simple y buena si quieres un ejemplo?

import wget

file_url = 'http://johndoe.com/download.zip'

file_name = wget.download(file_url)

El módulo wget admite las versiones python 2 y python 3

Cuatro métodos que utilizan wget, urllib y request.

#!/usr/bin/python
import requests
from StringIO import StringIO
from PIL import Image
import profile as profile
import urllib
import wget


url = 'https://tinypng.com/images/social/website.jpg'

def testRequest():
    image_name = 'test1.jpg'
    r = requests.get(url, stream=True)
    with open(image_name, 'wb') as f:
        for chunk in r.iter_content():
            f.write(chunk)

def testRequest2():
    image_name = 'test2.jpg'
    r = requests.get(url)
    i = Image.open(StringIO(r.content))
    i.save(image_name)

def testUrllib():
    image_name = 'test3.jpg'
    testfile = urllib.URLopener()
    testfile.retrieve(url, image_name)

def testwget():
    image_name = 'test4.jpg'
    wget.download(url, image_name)

if __name__ == '__main__':
    profile.run('testRequest()')
    profile.run('testRequest2()')
    profile.run('testUrllib()')
    profile.run('testwget()')

testRequest - 4469882 llamadas a funciones (4469842 llamadas primitivas) en 20.236 segundos

testRequest2 - 8580 llamadas a funciones (8574 llamadas primitivas) en 0.072 segundos

testUrllib - 3810 llamadas a funciones (3775 llamadas primitivas) en 0.036 segundos

testwget - 3489 llamadas a funciones en 0.020 segundos

Para Python3 + URLopener está en desuso. Y cuando lo use, obtendrá el error de la siguiente manera:

url_opener = urllib.URLopener () AttributeError: el módulo 'urllib' no tiene el atributo 'URLopener'

Entonces, intente:

import urllib.request 
urllib.request.urlretrieve(url, filename)

Solución exótica de Windows

import subprocess

subprocess.run("powershell Invoke-WebRequest {} -OutFile {}".format(your_url, filename), shell=True)

Comencé por este camino porque el wget de ESXi no está compilado con SSL y quería descargar un OVA del sitio web de un proveedor directamente en el host de ESXi que está al otro lado del mundo.

Tuve que desactivar el firewall (perezoso) / activar https editando las reglas (correcto)

creó el script de python:

import ssl
import shutil
import tempfile
import urllib.request
context = ssl._create_unverified_context()

dlurl='https://somesite/path/whatever'
with urllib.request.urlopen(durl, context=context) as response:
    with open("file.ova", 'wb') as tmp_file:
        shutil.copyfileobj(response, tmp_file)

Las bibliotecas ESXi están un poco emparejadas, pero el instalador de comadrejas de código abierto parecía usar urllib para https ... así que me inspiró a seguir este camino

Otra forma limpia de guardar el archivo es esta:

import csv
import urllib

urllib.retrieve("your url goes here" , "output.csv")