Python: ¿Eliminar \ xa0 de la cadena?

Actualmente estoy usando Beautiful Soup para analizar un archivo HTML y llamar get_text(), pero parece que me quedan muchos \ xa0 Unicode que representan espacios. ¿Hay alguna manera eficiente de eliminarlos en Python 2.7 y cambiarlos a espacios? Supongo que la pregunta más general sería: ¿hay alguna forma de eliminar el formato Unicode?

Intenté usar:, line = line.replace(u'\xa0',' ')como lo sugirió otro hilo, pero eso cambió los \ xa0's a u's, así que ahora tengo "u" s en todas partes. ):

EDITAR: Parece que el problema se resuelve str.replace(u'\xa0', ' ').encode('utf-8'), pero el hecho de .encode('utf-8')no hacerlo replace()hace que escupe caracteres aún más extraños, \ xc2 por ejemplo. ¿Alguien puede explicar esto?

\ xa0 es en realidad un espacio sin interrupciones en Latin1 (ISO 8859-1), también chr (160). Deberías reemplazarlo con un espacio.

string = string.replace(u'\xa0', u' ')

Cuando .encode ('utf-8') codificará el unicode a utf-8, eso significa que cada unicode podría estar representado por 1 a 4 bytes. Para este caso, \ xa0 está representado por 2 bytes \ xc2 \ xa0.

Lea sobre http://docs.python.org/howto/unicode.html .

Tenga en cuenta: esta respuesta de 2012, Python ha avanzado, debería poder usarla unicodedata.normalizeahora

Hay muchas cosas útiles en la unicodedatabiblioteca de Python . Uno de ellos es la .normalize()función.

Tratar:

new_str = unicodedata.normalize("NFKD", unicode_str)

Reemplazar NFKD con cualquiera de los otros métodos enumerados en el enlace anterior si no obtiene los resultados que busca.

Intente usar .strip () al final de su línea line.strip()funcionó bien para mí

Después de probar varios métodos, para resumirlo, así es como lo hice. Las siguientes son dos formas de evitar / eliminar caracteres \ xa0 de una cadena HTML analizada.

Supongamos que tenemos nuestro html en bruto de la siguiente manera:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Entonces intentemos limpiar esta cadena HTML:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

El código anterior produce estos caracteres \ xa0 en la cadena. Para eliminarlos adecuadamente, podemos usar dos formas.

Método n. ° 1 (recomendado): el primero es el método get_text de BeautifulSoup con el argumento strip como True. Por lo tanto, nuestro código se convierte en:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Método # 2: La otra opción es usar unicodedatos de la biblioteca de Python

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

También he detallado estos métodos en este blog que quizás desee consultar.

prueba esto:

string.replace('\\xa0', ' ')

Me encontré con este mismo problema al extraer algunos datos de una base de datos sqlite3 con python. Las respuestas anteriores no funcionaron para mí (no estoy seguro de por qué), pero sí: line = line.decode('ascii', 'ignore')Sin embargo, mi objetivo era eliminar los \ xa0s, en lugar de reemplazarlos con espacios.

Obtuve esto de este tutorial unicode súper útil de Ned Batchelder.

Termino aquí mientras busco en Google el problema con el carácter no imprimible. Yo uso MySQL UTF-8 general_ciy trato con el lenguaje polaco. Para cadenas problemáticas, debo proceder de la siguiente manera:

text=text.replace('\xc2\xa0', ' ')

Es solo una solución rápida y probablemente debería intentar algo con la configuración de codificación correcta.

Prueba este código

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) es 0xC2A0 en UTF-8. .encode('utf8')solo tomará su Unicode 0xA0 y lo reemplazará con UTF-8's 0xC2A0. De ahí la aparición de 0xC2s ... La codificación no está reemplazando, como probablemente ya se haya dado cuenta ahora.

Es el equivalente de un personaje espacial, así que quítalo

print(string.strip()) # no more xa0

En Beautiful Soup, puede pasar get_text()el parámetro strip, que elimina el espacio en blanco desde el principio y el final del texto. Esto eliminará \xa0o cualquier otro espacio en blanco si ocurre al principio o al final de la cadena. Beautiful Soup reemplazó una cadena vacía con \xa0y esto resolvió el problema para mí.

mytext = soup.get_text(strip=True)

Versión genérica con la expresión regular (eliminará todos los caracteres de control):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python lo reconoce como un carácter de espacio, por lo que puede splithacerlo sin argumentos y unirse por un espacio en blanco normal:

line = ' '.join(line.split())