Reemplazar caracteres no ASCII con un solo espacio

Necesito reemplazar todos los caracteres que no sean ASCII (\ x00- \ x7F) con un espacio. Me sorprende que esto no sea fácil en Python, a menos que me falte algo. La siguiente función simplemente elimina todos los caracteres que no son ASCII:

def remove_non_ascii_1(text):

    return ''.join(i for i in text if ord(i)<128)

Y este reemplaza los caracteres no ASCII con la cantidad de espacios según la cantidad de bytes en el punto de código de caracteres (es decir, el –carácter se reemplaza con 3 espacios):

def remove_non_ascii_2(text):

    return re.sub(r'[^\x00-\x7F]',' ', text)

¿Cómo puedo reemplazar todos los caracteres no ASCII con un solo espacio?

De la miríada de preguntas SO similares , ninguna aborda el reemplazo de caracteres en lugar de la eliminación , y adicionalmente aborda todos los caracteres no ascii que no son un carácter específico.

Su ''.join()expresión es filtrar , eliminar todo lo que no sea ASCII; podrías usar una expresión condicional en su lugar:

return ''.join([i if ord(i) < 128 else ' ' for i in text])

Esto maneja los caracteres uno por uno y aún usaría un espacio por carácter reemplazado.

Su expresión regular debería reemplazar los caracteres no ASCII consecutivos con un espacio:

re.sub(r'[^\x00-\x7F]+',' ', text)

Tenga en cuenta el +allí.

Para que obtenga la representación más parecida de su cadena original, le recomiendo el módulo unidecode :

from unidecode import unidecode
def remove_non_ascii(text):
    return unidecode(unicode(text, encoding = "utf-8"))

Entonces puedes usarlo en una cadena:

remove_non_ascii("Ceñía")
Cenia

Para el procesamiento de caracteres , use cadenas Unicode:

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABC马克def'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s)   # Each char is a Unicode codepoint.
'ABC  def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC      def'

Pero tenga en cuenta que todavía tendrá un problema si su cadena contiene caracteres Unicode descompuestos (caracteres separados y combinando marcas de acento, por ejemplo):

>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'mañana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'

Si el personaje de reemplazo puede ser '?' en lugar de un espacio, entonces sugeriría result = text.encode('ascii', 'replace').decode():

"""Test the performance of different non-ASCII replacement methods."""


import re
from timeit import timeit


# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000


print(timeit(
    """
result = ''.join([c if ord(c) < 128 else '?' for c in text])
    """,
    number=1000,
    globals=globals(),
))

print(timeit(
    """
result = text.encode('ascii', 'replace').decode()
    """,
    number=1000,
    globals=globals(),
))

Resultados:

0.7208260721400134
0.009975979187503592

¿Qué hay de este?

def replace_trash(unicode_string):
     for i in range(0, len(unicode_string)):
         try:
             unicode_string[i].encode("ascii")
         except:
              #means it's non-ASCII
              unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
     return unicode_string

Como enfoque nativo y eficiente, no necesita usar ordni ningún ciclo sobre los caracteres. Simplemente codifique asciie ignore los errores.

Lo siguiente solo eliminará los caracteres que no sean ascii:

new_string = old_string.encode('ascii',errors='ignore')

Ahora, si desea reemplazar los caracteres eliminados, haga lo siguiente:

final_string = new_string + b' ' * (len(old_string) - len(new_string))

Potencialmente para una pregunta diferente, pero estoy proporcionando mi versión de la respuesta de @ Alvero (usando unidecode). Quiero hacer una franja "regular" en mis cadenas, es decir, el principio y el final de mi cadena para los espacios en blanco, y luego reemplazar solo otros caracteres de espacios en blanco con un espacio "normal", es decir

"Ceñíaㅤmañanaㅤㅤㅤㅤ"

a

"Ceñía mañana"

,

def safely_stripped(s: str):
    return ' '.join(
        stripped for stripped in
        (bit.strip() for bit in
         ''.join((c if unidecode(c) else ' ') for c in s).strip().split())
        if stripped)

Primero reemplazamos todos los espacios no Unicode con un espacio regular (y lo unimos de nuevo),

''.join((c if unidecode(c) else ' ') for c in s)

Y luego lo dividimos nuevamente, con la división normal de Python, y despojamos cada "bit",

(bit.strip() for bit in s.split())

Y finalmente, únete a ellos de nuevo, pero solo si la cadena pasa una ifprueba,

' '.join(stripped for stripped in s if stripped)

Y con eso, safely_stripped('ㅤㅤㅤㅤCeñíaㅤmañanaㅤㅤㅤㅤ')vuelve correctamente 'Ceñía mañana'.