¿Cuál es la forma más rápida de HTTP GET en Python?

¿Cuál es la forma más rápida de HTTP GET en Python si sé que el contenido será una cadena? Estoy buscando en la documentación una línea rápida como:

contents = url.get("http://example.com/foo/bar")

Pero todo lo que puedo encontrar usando Google son httpliby urllib, y no puedo encontrar un acceso directo en esas bibliotecas.

¿Python 2.5 estándar tiene un acceso directo en alguna forma como se indicó anteriormente, o debería escribir una función url_get?

1. Preferiría no capturar la salida del bombardeo hacia wgeto curl.

Python 3:

import urllib.request
contents = urllib.request.urlopen("http://example.com/foo/bar").read()

Python 2:

import urllib2
contents = urllib2.urlopen("http://example.com/foo/bar").read()

Documentación para urllib.requesty read.

Podría usar una biblioteca llamada solicitudes .

import requests
r = requests.get("http://example.com/foo/bar")

Esto es bastante facil. Entonces puedes hacer esto:

>>> print(r.status_code)
>>> print(r.headers)
>>> print(r.content)

Si desea que la solución con httplib2 sea única, considere crear instancias de un objeto Http anónimo

import httplib2
resp, content = httplib2.Http().request("http://example.com/foo/bar")

Eche un vistazo a httplib2 , que, junto a muchas funciones muy útiles, proporciona exactamente lo que desea.

import httplib2

resp, content = httplib2.Http().request("http://example.com/foo/bar")

Donde el contenido sería el cuerpo de respuesta (como una cadena), y resp contendría los encabezados de estado y respuesta.

Sin embargo, no viene incluido con una instalación estándar de Python (pero solo requiere Python estándar), pero definitivamente vale la pena echarle un vistazo.

Es bastante simple con el poderoso urllib3 biblioteca.

Importarlo así:

import urllib3

http = urllib3.PoolManager()

Y haga una solicitud como esta:

response = http.request('GET', 'https://example.com')

print(response.data) # Raw data.
print(response.data.decode('utf-8')) # Text.
print(response.status) # Status code.
print(response.headers['Content-Type']) # Content type.

También puedes agregar encabezados:

response = http.request('GET', 'https://example.com', headers={
    'key1': 'value1',
    'key2': 'value2'
})

Se puede encontrar más información en la documentación de urllib3 .

urllib3es mucho más seguro y fácil de usar que el integrado urllib.requesto los httpmódulos y es estable.

La solución de theller para wget es realmente útil, sin embargo, descubrí que no imprime el progreso durante el proceso de descarga. Es perfecto si agrega una línea después de la declaración de impresión en reporthook.

import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Aquí hay un script wget en Python:

# From python cookbook, 2nd edition, page 487
import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Sin más importaciones necesarias, esta solución funciona (para mí), también con https:

try:
    import urllib2 as urlreq # Python 2.x
except:
    import urllib.request as urlreq # Python 3.x
req = urlreq.Request("http://example.com/foo/bar")
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36')
urlreq.urlopen(req).read()

A menudo tengo dificultades para obtener el contenido cuando no especifico un "Agente de usuario" en la información del encabezado. Luego, generalmente, las solicitudes se cancelan con algo como: urllib2.HTTPError: HTTP Error 403: Forbiddeno urllib.error.HTTPError: HTTP Error 403: Forbidden.

Cómo enviar también encabezados

Python 3:

import urllib.request
contents = urllib.request.urlopen(urllib.request.Request(
    "https://api.github.com/repos/cirosantilli/linux-kernel-module-cheat/releases/latest",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Python 2:

import urllib2
contents = urllib2.urlopen(urllib2.Request(
    "https://api.github.com",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Si está trabajando específicamente con las API HTTP, también hay opciones más convenientes, como Nap .

Por ejemplo, aquí le mostramos cómo obtener lo esencial de Github desde el 1 de mayo de 2014 :

from nap.url import Url
api = Url('https://api.github.com')

gists = api.join('gists')
response = gists.get(params={'since': '2014-05-01T00:00:00Z'})
print(response.json())

Más ejemplos: https://github.com/kimmobrunfeldt/nap#examples

Excelentes soluciones Xuan, Theller.

Para que funcione con Python 3, realice los siguientes cambios

import sys, urllib.request

def reporthook(a, b, c):
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c))
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print (url, "->", file)
    urllib.request.urlretrieve(url, file, reporthook)
print

Además, la URL que ingrese debe ir precedida de un "http: //", de lo contrario, devolverá un error de tipo de URL desconocido.

Para python >= 3.6, puedes usar dload :

import dload
t = dload.text(url)

Para json:

j = dload.json(url)

Instalar en pc:
pip install dload

En realidad, en Python podemos leer desde urls como desde archivos, aquí hay un ejemplo para leer json desde API.

import json

from urllib.request import urlopen

with urlopen(url) as f:

resp = json.load(f)

return resp['some_key']

Si quieres una API de nivel inferior:

import http.client

conn = http.client.HTTPSConnection('example.com')
conn.request('GET', '/')

resp = conn.getresponse()
content = resp.read()

conn.close()

text = content.decode('utf-8')

print(text)