Python, Unicode y la consola de Windows

Cuando intento imprimir una cadena Unicode en una consola de Windows, aparece un UnicodeEncodeError: 'charmap' codec can't encode character ....error. Supongo que esto se debe a que la consola de Windows no acepta caracteres solo Unicode. ¿Cuál es la mejor manera de evitar esto? ¿Hay alguna manera de hacer que Python imprima automáticamente en ?lugar de fallar en esta situación?

Editar: estoy usando Python 2.5.

Nota: la respuesta de @ LasseV.Karlsen con la marca de verificación está desactualizada (desde 2008). ¡Utilice las soluciones / respuestas / sugerencias a continuación con cuidado!

La respuesta de @JFSebastian es más relevante a partir de hoy (6 de enero de 2016).

Nota: Esta respuesta está desactualizada (desde 2008). ¡Utilice la solución a continuación con cuidado!

Aquí hay una página que detalla el problema y una solución (busque en la página el texto Wrapping sys.stdout en una instancia ):

PrintFails - Python Wiki

Aquí hay un extracto de código de esa página:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

Hay más información en esa página, vale la pena leer.

Actualización: Python 3.6 implementa PEP 528: cambie la codificación de la consola de Windows a UTF-8 : la consola predeterminada en Windows ahora aceptará todos los caracteres Unicode. Internamente, utiliza la misma API Unicode que el win-unicode-consolepaquete mencionado a continuación . print(unicode_string)Debería funcionar ahora.

Me sale un UnicodeEncodeError: 'charmap' codec can't encode character... error

El error significa que los caracteres Unicode que está intentando imprimir no se pueden representar utilizando la chcpcodificación de caracteres de la consola actual ( ). La página de códigos suele ser una codificación de 8 bits, comocp437 que puede representar solo ~ 0x100 caracteres de ~ 1M caracteres Unicode:

>>> u "\ N {SIGNO EURO}". codificar ('cp437')
Rastreo (llamadas recientes más última):
...
UnicodeEncodeError: el códec 'charmap' no puede codificar el carácter '\ u20ac' en la posición 0:
mapas de caracteres para 

Supongo que esto se debe a que la consola de Windows no acepta caracteres solo Unicode. ¿Cuál es la mejor manera de evitar esto?

La consola de Windows acepta caracteres Unicode e incluso puede mostrarlos (solo BMP) si la fuente correspondiente está configurada . WriteConsoleW()API debe usarse como se sugiere en la respuesta de @Daira Hopwood . Se puede llamar de forma transparente, es decir, no es necesario y no debe modificar sus scripts si usa el win-unicode-consolepaquete :

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

Vea ¿Cuál es el trato con Python 3.4, Unicode, diferentes idiomas y Windows?

¿Hay alguna manera de hacer que Python imprima automáticamente en ?lugar de fallar en esta situación?

Si es suficiente para reemplazar todos los caracteres no codificables ?en su caso, entonces podría configurar PYTHONIOENCODINGenvvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

En Python 3.6+, la codificación especificada por PYTHONIOENCODINGenvvar se ignora para las memorias intermedias de consola interactivas a menos que PYTHONLEGACYWINDOWSIOENCODINGenvvar esté configurado en una cadena no vacía.

A pesar de las otras respuestas de sonido plausible que sugieren cambiar la página de códigos a 65001, eso no funciona . (Además, cambiar la codificación predeterminada usando nosys.setdefaultencoding es una buena idea ).

Consulte esta pregunta para obtener detalles y el código que funciona.

Si no está interesado en obtener una representación confiable de los caracteres malos, puede usar algo como esto (trabajando con python> = 2.6, incluyendo 3.x):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

Los caracteres incorrectos en la cadena se convertirán en una representación que la consola de Windows pueda imprimir.

El siguiente código hará que Python realice la salida a la consola como UTF-8 incluso en Windows.

La consola mostrará bien los caracteres en Windows 7, pero en Windows XP no los mostrará bien, pero al menos funcionará y, lo más importante, tendrá una salida consistente de su script en todas las plataformas. Podrá redirigir la salida a un archivo.

El siguiente código se probó con Python 2.6 en Windows.

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Simplemente ingrese este código en la línea de comando antes de ejecutar el script python:

chcp 65001 & set PYTHONIOENCODING=utf-8

Como la respuesta de Giampaolo Rodolà, pero aún más sucia: realmente, realmente tengo la intención de pasar mucho tiempo (pronto) entendiendo todo el tema de las codificaciones y cómo se aplican a las consolas Windoze,

Por el momento solo quería sthg, lo que significaría que mi programa NO CRASH, y lo entendí ... y también que no implicaba importar demasiados módulos exóticos (en particular, estoy usando Jython, así que la mitad del tiempo un Python De hecho, el módulo no está disponible).

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

NB "pr" es más corto de escribir que "print" (y bastante más corto de escribir que "safeprint") ...!

Para Python 2 intente:

print unicode(string, 'unicode-escape')

Para Python 3 intente:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

O prueba win-unicode-console:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

Me encontré con esto yo mismo, trabajando en un bot de chat Twitch (IRC). (Python 2.7 más reciente)

Quería analizar los mensajes de chat para responder ...

msg = s.recv(1024).decode("utf-8")

pero también imprímalos de forma segura en la consola en un formato legible para humanos:

print(msg.encode('ascii','replace'));

Esto corrigió el problema de los UnicodeEncodeError: 'charmap'errores de lanzamiento de bot y reemplazó los caracteres unicode con ?.

La causa de su problema NO es que la consola Win no esté dispuesta a aceptar Unicode (como lo hace, ya que supongo que Win2k por defecto). Es la codificación predeterminada del sistema. Pruebe este código y vea lo que le ofrece:

import sys
sys.getdefaultencoding()

si dice ascii, ahí está tu causa ;-) Tienes que crear un archivo llamado sitecustomize.py y ponerlo en la ruta de Python (lo puse en /usr/lib/python2.5/site-packages, pero eso es diferente en Win: es c: \ python \ lib \ site-packages o algo así, con el siguiente contenido:

import sys
sys.setdefaultencoding('utf-8')

y quizás también desee especificar la codificación en sus archivos:

# -*- coding: UTF-8 -*-
import sys,time

Editar: se puede encontrar más información en el excelente libro Inmersión en Python

Algo relacionado en la respuesta de JF Sebastian, pero más directo.

Si tiene este problema al imprimir en la consola / terminal, haga lo siguiente:

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7: hay varias formas de iniciar una python: puede usar la consola de python (que tiene un logotipo de python) o la consola de windows (está escrito cmd.exe).

No pude imprimir caracteres utf8 en la consola de Windows. Imprimir caracteres utf-8 me arroja este error:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

Después de intentar y no entender la respuesta anterior, descubrí que solo era un problema de configuración. Haga clic derecho en la parte superior de las ventanas de la consola cmd, en la pestaña fontelija la consola lucida.

James Sulak preguntó:

¿Hay alguna forma de hacer que Python imprima automáticamente? en lugar de fallar en esta situación?

Otras soluciones recomiendan que intentemos modificar el entorno de Windows o reemplazar la print()función de Python . La respuesta a continuación se acerca al cumplimiento de la solicitud de Sulak.

En Windows 7, se puede hacer que Python 3.5 imprima Unicode sin lanzar un de la UnicodeEncodeErrorsiguiente manera:

    En lugar de:     print(text)
    sustituto:     print(str(text).encode('utf-8'))

En lugar de lanzar una excepción, Python ahora muestra caracteres Unicode no imprimibles como códigos hexadecimales \ xNN , por ejemplo:

  Halmalo n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait plus qu \ xe2 \ x80 \ x99un punto negro

En vez de

  Halmalo n'était plus qu'un point noir

Por supuesto, este último es preferible ceteris paribus , pero por lo demás el primero es completamente preciso para los mensajes de diagnóstico. Debido a que muestra Unicode como valores de bytes literales, el primero también puede ayudar a diagnosticar problemas de codificación / decodificación.

Nota: La str()llamada anterior es necesaria porque, de lo contrario encode(), Python rechaza un carácter Unicode como una tupla de números.