Preguntas etiquetadas con urlopen

Estoy tratando de desarrollar un simple raspador web. Quiero extraer texto sin el código HTML. De hecho, logro este objetivo, pero he visto que en algunas páginas donde se carga JavaScript no obtuve buenos resultados. Por ejemplo, si algún código JavaScript agrega texto, no puedo verlo, porque cuando llamo response …

178 python  web-scraping  python-2.x  urlopen 

Con Python 3 solicito un documento json desde una URL. response = urllib.request.urlopen(request) El responseobjeto es un objeto tipo archivo con ready readlinemétodos. Normalmente, un objeto JSON se puede crear con un archivo abierto en modo de texto. obj = json.load(fp) Lo que me gustaría hacer es: obj = json.load(response) …

177 python  json  python-3.x  encoding  urlopen