Preguntas etiquetadas con beautifulsoup

Tengo problemas para tratar con caracteres Unicode del texto obtenido de diferentes páginas web (en diferentes sitios). Estoy usando BeautifulSoup. El problema es que el error no siempre es reproducible; a veces funciona con algunas páginas y, a veces, irrita lanzando a UnicodeEncodeError. He intentado casi todo lo que se …

1300 python  unicode  beautifulsoup  python-2.x  python-unicode 

Tengo problemas para analizar elementos HTML con el atributo "class" usando Beautifulsoup. El código se ve así soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div Recibo un error en la misma línea "después" de que finaliza el script. File "./beautifulcoding.py", line 130, …

386 python  html  web-scraping  beautifulsoup 

... soup = BeautifulSoup(html, "lxml") File "/Library/Python/2.7/site-packages/bs4/__init__.py", line 152, in __init__ % ",".join(features)) bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Las salidas anteriores en mi terminal. Estoy en Mac OS 10.7.x. Tengo Python 2.7.1 y seguí este …

224 python  python-2.7  beautifulsoup  lxml 

Estoy tratando de raspar un sitio web, pero me da un error. Estoy usando el siguiente código: import urllib.request from bs4 import BeautifulSoup get = urllib.request.urlopen("https://www.website.com/") html = get.read() soup = BeautifulSoup(html) print(soup) Y obtengo el siguiente error: File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't …

206 python  beautifulsoup  urllib 

TypeError: se requiere un objeto similar a bytes, no 'str' obtener el error anterior mientras se ejecuta el código python debajo para guardar los datos de la tabla HTML en el archivo Csv. no sé cómo obtener rideup.pls ayúdame. import csv import requests from bs4 import BeautifulSoup url='http://www.mapsofindia.com/districts-india/' response=requests.get(url) html=response.content …

173 csv  python-3.x  beautifulsoup  html-table 

soup.find("tagName", { "id" : "articlebody" }) ¿Por qué esto NO devuelve las <div id="articlebody"> ... </div>etiquetas y demás? No devuelve nada. Y sé a ciencia cierta que existe porque lo estoy mirando desde soup.prettify() soup.find("div", { "id" : "articlebody" }) Tampoco funciona. ( EDITAR: descubrí que BeautifulSoup no estaba analizando …

147 python  beautifulsoup 

¿Cómo puedo recuperar los enlaces de una página web y copiar la dirección URL de los enlaces usando Python?

141 python  web-scraping  hyperlink  beautifulsoup 

Estoy trabajando en Python y usando Flask. Cuando ejecuto mi archivo Python principal en mi computadora, funciona perfectamente, pero cuando activo venv y ejecuto el archivo Python Flask en la terminal, dice que mi archivo Python principal tiene "No Module Named bs4". Cualquier comentario o consejo es muy apreciado.

138 python  beautifulsoup  flask  importerror 

Quiero hacer un sitio web que muestre la comparación entre Amazon y el precio del producto e-bay. ¿Cuál de estos funcionará mejor y por qué? Estoy algo familiarizado con BeautifulSoup pero no tanto con Scrapy crawler .

134 python  beautifulsoup  scrapy  web-crawler 

Básicamente, quiero usar BeautifulSoup para tomar estrictamente el texto visible en una página web. Por ejemplo, esta página web es mi caso de prueba. Y principalmente quiero obtener el texto del cuerpo (artículo) y tal vez incluso algunos nombres de pestañas aquí y allá. He intentado la sugerencia en esta …

124 python  text  beautifulsoup  html-content-extraction 

Quiero obtener todas las <a>etiquetas que son secundarias de <li>: <div> <li class="test"> <a>link1</a> <ul> <li> <a>link2</a> </li> </ul> </li> </div> Sé cómo encontrar un elemento con una clase particular como esta: soup.find("li", { "class" : "test" }) Pero no sé cómo encontrar a todos los <a>que son hijos de …

115 python  html  beautifulsoup 

Estoy tratando de extraer el contenido de un atributo de "valor" único en una etiqueta de "entrada" específica en una página web. Yo uso el siguiente código: import urllib f = urllib.urlopen("http://58.68.130.147") s = f.read() f.close() from BeautifulSoup import BeautifulStoneSoup soup = BeautifulStoneSoup(s) inputTag = soup.findAll(attrs={"name" : "stainfo"}) output = …

110 python  parsing  attributes  beautifulsoup 

Estoy usando BeautifulSoup para raspar una URL y tenía el siguiente código import urllib import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html" req = urllib2.Request(url) response = urllib2.urlopen(req) the_page = response.read() soup = BeautifulSoup(the_page) soup.findAll('td',attrs={'class':'empformbody'}) Ahora, en el código anterior, podemos usar findAllpara obtener etiquetas e información relacionada con …

105 python  xpath  beautifulsoup  urllib 

Quiero imprimir un valor de atributo basado en su nombre, tome por ejemplo <META NAME="City" content="Austin"> Quiero hacer algo como esto soup = BeautifulSoup(f) //f is some HTML containing the above meta tag for meta_tag in soup('meta'): if meta_tag['name'] == 'City': print meta_tag['content'] El código anterior da un KeyError: 'name', …

98 python  beautifulsoup 

¿Se pueden eliminar las etiquetas de script y todo su contenido de HTML con BeautifulSoup, o tengo que usar expresiones regulares u otra cosa?

90 python  html  beautifulsoup