UnicodeDecodeError: el códec 'utf8' no puede decodificar el byte 0x9c

Tengo un servidor de socket que se supone que recibe caracteres válidos UTF-8 de los clientes.

El problema es que algunos clientes (principalmente piratas informáticos) envían todo el tipo de datos incorrectos sobre él.

Puedo distinguir fácilmente al cliente genuino, pero estoy ingresando a los archivos todos los datos enviados para poder analizarlos más tarde.

A veces obtengo caracteres como este œque causan el UnicodeDecodeErrorerror.

Necesito poder hacer la cadena UTF-8 con o sin esos caracteres.

Actualizar:

Para mi caso particular, el servicio de socket era un MTA y, por lo tanto, solo espero recibir comandos ASCII como:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Estaba registrando todo esto en JSON.

Luego, algunas personas sin buenas intenciones decidieron vender todo tipo de basura.

Es por eso que para mi caso específico está perfectamente bien quitar los caracteres no ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

o

str = unicode(str, errors='ignore')

Nota: Esto eliminará (ignorará) los caracteres en cuestión devolviendo la cadena sin ellos.

Para mí, este es el caso ideal, ya que lo estoy usando como protección contra la entrada no ASCII que mi aplicación no permite.

Alternativamente: utilice el método abierto del codecsmódulo para leer en el archivo:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Cambiar el motor de C a Python hizo el truco para mí.

El motor es C:

pd.read_csv(gdp_path, sep='\t', engine='c')

El códec 'utf-8' no puede decodificar el byte 0x92 en la posición 18: byte de inicio no válido

El motor es Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

No hay errores para mi.

Este tipo de problema surge para mí ahora que me mudé a Python 3. No tenía idea de que Python 2 simplemente estaba resolviendo cualquier problema con la codificación de archivos.

Encontré esta buena explicación de las diferencias y cómo encontrar una solución después de que nada de lo anterior funcionó para mí.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

En resumen, para hacer que Python 3 se comporte de la manera más similar posible al uso de Python 2:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Sin embargo, lea el artículo, no hay una solución única para todos.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Tuve el mismo problema UnicodeDecodeErrory lo resolví con esta línea. No sé si es la mejor manera, pero funcionó para mí.

str = str.decode('unicode_escape').encode('utf-8')

el primero, usando get_encoding_type para obtener el tipo de archivo de codificación:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

el segundo, abriendo los archivos con el tipo:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Por si acaso alguien tiene el mismo problema. Estoy usando vim con YouCompleteMe , no pude iniciar ycmd con este mensaje de error, lo que hice fue: export LC_CTYPE="en_US.UTF-8"el problema desapareció.

¿Qué puede hacer si necesita hacer un cambio en un archivo, pero no conoce la codificación del archivo? Si sabe que la codificación es compatible con ASCII y solo desea examinar o modificar las partes ASCII, puede abrir el archivo con el controlador de error de subrogación de escape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

He resuelto este problema simplemente agregando

df = pd.read_csv(fileName,encoding='latin1')