Convertir un archivo UTF-8 a ASCII (mejor esfuerzo)

Tengo un archivo en UTF-8 que contiene textos en varios idiomas. Muchos de ellos son nombres de personas. Necesito convertirlo a ASCII y necesito que el resultado se vea lo más decente posible.

Hay muchas formas de abordar la conversión de una codificación más amplia a una más estrecha. La transformación más simple sería reemplazar todos los caracteres que no son ASCII con algún marcador de posición, como '_'. Si conozco el idioma en el que está escrito el archivo, hay posibilidades adicionales, como la romanización.

¿Qué herramienta de Unix o biblioteca de lenguaje de programación disponible en Unix me puede dar una conversión decente (el mejor esfuerzo) de UTF-8 a ASCII?

La mayor parte del texto está en idiomas europeos basados ​​en el tipo latino.

konwert utf8-ascii

Hará la conversión de mejor esfuerzo, dependiendo de las tablas de conversión. Si conoce aproximadamente el idioma de entrada, hay filtros específicos de idioma que ofrecen mejores resultados, por ejemplo

konwert utf8-xmetodo

es la conversión del esperanto en la representación x-metodo,

konwert UTF8-tex

intentará hacer una representación TeX de diacríticos, hay parámetros específicos del idioma:

konwert UTF8-ascii/de

transliterará "ä" en "ae" (habitual para el alemán) en lugar de "a"

konwert UTF8-ascii/rosyjski

utilizará las reglas polacas para transcribir el ruso, en lugar de las "inglesas", etc.

Esto funcionará para algunas cosas:

iconv -f utf-8 -t ascii//TRANSLIT

echo ĥéĺłœ π | iconv -f utf-8 -t ascii//TRANSLITvuelve helloe ?. Cualquier carácter que iconvno sepa cómo convertir será reemplazado por signos de interrogación.

iconves POSIX, pero no sé si todos los sistemas tienen la TRANSLITopción. A mí me funciona en Linux. Además, la IGNOREopción descartará silenciosamente los caracteres que no se pueden representar en el conjunto de caracteres de destino (ver man iconv_open).

Una opción inferior pero compatible con POSIX es usar tr. Este comando reemplaza todos los puntos de código que no son ASCII con un signo de interrogación. Lee el texto UTF-8 un byte a la vez. "É" podría reemplazarse con E?o ?, dependiendo de si se codificó utilizando un acento combinado o un carácter precompuesto.

echo café äëïöü | tr -d '\200-\277' | tr '\300-\377' '[?*]'

Ese ejemplo regresa caf? ?????, usando caracteres precompuestos.

tratar uni2ascii -B input.txt >output.txt

uni2ascii

Tengo un archivo en UTF-8 que contiene [nombres de personas] en varios idiomas [que quiero convertir en algo significativo en ASCII].

¿Quiere decir que desea poder convertir los siguientes nombres en una cadena ASCII a la que la persona interesada no se opondría?

• ஸ்றீனிவாஸ ராமானுஜன் ஐயங்கார்
• عبد الله الثاني بن الحسين

Sospecho que no hay una herramienta automatizada que pueda hacer esto. No puede haber ninguna o muchas latinizaciones de nombres personales. El software no puede elegir la versión culturalmente aceptable. Al menos no sin que el software sepa mucho sobre la cultura de la persona involucrada.

Ver también /programming//a/1398403/477035

Terminé usando Perl con Text :: Unidecode para esto. Ejemplo:

perl -e 'use utf8; use Text::Unidecode; print unidecode("عبد الله الثاني بسين")

produce bd llh lthny bn lHsyn, que es un resultado aceptable para mis propósitos.