¿Podemos usar xpath con BeautifulSoup?

Estoy usando BeautifulSoup para raspar una URL y tenía el siguiente código

import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
req = urllib2.Request(url)
response = urllib2.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page)
soup.findAll('td',attrs={'class':'empformbody'})

Ahora, en el código anterior, podemos usar findAllpara obtener etiquetas e información relacionada con ellas, pero quiero usar xpath. ¿Es posible usar xpath con BeautifulSoup? Si es posible, ¿alguien puede proporcionarme un código de ejemplo para que sea más útil?

No, BeautifulSoup, por sí solo, no admite expresiones XPath.

Una biblioteca alternativa, lxml , hace apoyo XPath 1.0. Tiene un modo compatible con BeautifulSoup en el que intentará analizar HTML roto como lo hace Soup. Sin embargo, el analizador HTML lxml predeterminado hace un buen trabajo al analizar HTML roto, y creo que es más rápido.

Una vez que haya analizado su documento en un árbol lxml, puede usar el .xpath()método para buscar elementos.

try:
    # Python 2
    from urllib2 import urlopen
except ImportError:
    from urllib.request import urlopen
from lxml import etree

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)

También hay un módulo dedicadolxml.html() con funcionalidad adicional.

Tenga en cuenta que en el ejemplo anterior le pasé el responseobjeto directamente lxml, ya que hacer que el analizador lea directamente de la secuencia es más eficiente que leer primero la respuesta en una cadena grande. Para hacer lo mismo con la requestsbiblioteca, desea establecer stream=Truey pasar el response.rawobjeto después de habilitar la descompresión de transporte transparente :

import lxml.html
import requests

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)

De posible interés para usted es el soporte de CSS Selector ; la CSSSelectorclase traduce declaraciones CSS en expresiones XPath, lo td.empformbodyque facilita mucho la búsqueda :

from lxml.cssselect import CSSSelector

td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
    # Do something with these table cells.

Cerrando el círculo: sí BeautifulSoup no tiene muy completo apoyo selector CSS :

for cell in soup.select('table#foobar td.empformbody'):
    # Do something with these table cells.

Puedo confirmar que no hay soporte XPath dentro de Beautiful Soup.

Como han dicho otros, BeautifulSoup no tiene soporte para xpath. Probablemente hay varias formas de obtener algo de un xpath, incluido el uso de Selenium. Sin embargo, aquí hay una solución que funciona en Python 2 o 3:

from lxml import html
import requests

page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.content)
#This will create a list of buyers:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#This will create a list of prices
prices = tree.xpath('//span[@class="item-price"]/text()')

print('Buyers: ', buyers)
print('Prices: ', prices)

Usé esto como referencia.

BeautifulSoup tiene una función llamada findNext del elemento actual dirigido childern, por lo que:

father.findNext('div',{'class':'class_value'}).findNext('div',{'id':'id_value'}).findAll('a') 

El código anterior puede imitar el siguiente xpath:

div[class=class_value]/div[id=id_value]

He buscado en sus documentos y parece que no hay una opción xpath. Además, como puede ver aquí en una pregunta similar sobre SO, el OP solicita una traducción de xpath a BeautifulSoup, por lo que mi conclusión sería: no, no hay análisis de xpath disponible.

cuando usas lxml todo simple:

tree = lxml.html.fromstring(html)
i_need_element = tree.xpath('//a[@class="shared-components"]/@href')

pero cuando usa BeautifulSoup BS4 también es simple:

• primero elimine "//" y "@"
• segundo - agregue una estrella antes de "="

prueba esta magia:

soup = BeautifulSoup(html, "lxml")
i_need_element = soup.select ('a[class*="shared-components"]')

como puede ver, esto no es compatible con la subetiqueta, así que elimino la parte "/ @ href"

Tal vez puedas probar lo siguiente sin XPath

from simplified_scrapy.simplified_doc import SimplifiedDoc 
html = '''
<html>
<body>
<div>
    <h1>Example Domain</h1>
    <p>This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.</p>
    <p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
# What XPath can do, so can it
doc = SimplifiedDoc(html)
# The result is the same as doc.getElementByTag('body').getElementByTag('div').getElementByTag('h1').text
print (doc.body.div.h1.text)
print (doc.div.h1.text)
print (doc.h1.text) # Shorter paths will be faster
print (doc.div.getChildren())
print (doc.div.getChildren('p'))

from lxml import etree
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('path of your localfile.html'),'html.parser')
dom = etree.HTML(str(soup))
print dom.xpath('//*[@id="BGINP01_S1"]/section/div/font/text()')

Anteriormente se usó la combinación del objeto Soup con lxml y se puede extraer el valor usando xpath

Este es un hilo bastante antiguo, pero ahora hay una solución alternativa, que puede que no estuviera en BeautifulSoup en ese momento.

He aquí un ejemplo de lo que hice. Utilizo el módulo "solicitudes" para leer una fuente RSS y obtener su contenido de texto en una variable llamada "rss_text". Con eso, lo ejecuto a través de BeautifulSoup, busco xpath / rss / channel / title y recupero su contenido. No es exactamente XPath en todo su esplendor (comodines, múltiples rutas, etc.), pero si solo tiene una ruta básica que desea ubicar, esto funciona.

from bs4 import BeautifulSoup
rss_obj = BeautifulSoup(rss_text, 'xml')
cls.title = rss_obj.rss.channel.title.get_text()