Quiero obtener el contenido del siguiente sitio web. Si utilizo un navegador como Firefox o Chrome, podría obtener la página del sitio web real que quiero, pero si uso el paquete de solicitudes de Python (o wgetcomando) para obtenerla, devuelve una página HTML totalmente diferente. Pensé que el desarrollador del sitio web había hecho algunos bloqueos para esto, así que la pregunta es:
¿Cómo falsifico una visita al navegador usando solicitudes de Python o el comando wget?
Respuestas:
Proporcione un User-Agentencabezado :
import requests
url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content)Para su información, aquí hay una lista de cadenas de agente de usuario para diferentes navegadores:
Como nota al margen, hay un paquete de terceros bastante útil llamado fake-useragent que proporciona una buena capa de abstracción sobre los agentes de usuario:
agente falso
Faker simple de useragent actualizado con base de datos del mundo real
Manifestación:
>>> from fake_useragent import UserAgent
>>> ua = UserAgent()
>>> ua.chrome
u'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'
>>> ua.random
u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36'PhantomJSnavegador sin cabeza con selenio. Gracias. (no olvide aceptar la respuesta si fue útil)
UserAgent. ¿Alguien sabe por qué? ¿Alguien podría proporcionar una lista de mensajes aceptables UserAgent?
si esta pregunta sigue siendo válida
He usado el agente de usuario falso
Cómo utilizar:
from fake_useragent import UserAgent
import requests
ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)salida:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>Intente hacer esto, usando Firefox como agente de usuario falso (además, es un buen script de inicio para raspado web con el uso de cookies):
#!/usr/bin/env python2
# -*- coding: utf8 -*-
# vim:ts=4:sw=4
import cookielib, urllib2, sys
def doIt(uri):
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
page = opener.open(uri)
page.addheaders = [('User-agent', 'Mozilla/5.0')]
print page.read()
for i in sys.argv[1:]:
doIt(i)python script.py "http://www.ichangtou.com/#company:data_000008.html"La raíz de la respuesta es que la persona que hace la pregunta necesita tener un intérprete de JavaScript para obtener lo que busca. Lo que encontré es que puedo obtener toda la información que quería en un sitio web en json antes de que fuera interpretada por JavaScript. Esto me ha ahorrado un montón de tiempo en lo que sería analizar html con la esperanza de que cada página web tenga el mismo formato.
Entonces, cuando obtenga una respuesta de un sitio web que usa solicitudes, realmente mire el html / text porque puede encontrar los javascripts JSON en el pie de página listos para ser analizados.