¿Cuál es la herramienta o método más rápido y fácil para convertir archivos de texto entre conjuntos de caracteres?

Específicamente, necesito convertir de UTF-8 a ISO-8859-15 y viceversa.

Todo vale: frases en su lenguaje de programación favorito, herramientas de línea de comandos u otras utilidades para SO, sitios web, etc.

Las mejores soluciones hasta ahora:

En Linux / UNIX / OS X / cygwin:

• El ícono de Gnu sugerido por Troels Arvin se usa mejor como filtro . Parece estar universalmente disponible. Ejemplo:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Como señaló Ben , hay un convertidor en línea que usa iconv .

• Gnu recode ( manual ) sugerido por Cheekysoft convertirá uno o varios archivos en el lugar . Ejemplo:

  $ recode UTF8..ISO-8859-15 in.txt
  

  Este usa alias más cortos:

  $ recode utf8..l9 in.txt
  

  Recode también admite superficies que se pueden usar para convertir entre diferentes tipos de terminación de línea y codificaciones:

  Convierta nuevas líneas de LF (Unix) a CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  Archivo de codificación Base64:

  $ recode ../Base64 in.txt
  

  También puedes combinarlos.

  Convierta un archivo UTF8 codificado en Base64 con terminaciones de línea Unix a un archivo Latin 1 codificado en Base64 con terminaciones de línea Dos:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

En Windows con Powershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (Sin embargo, no es compatible con ISO-8859-15; dice que los charsets compatibles son unicode, utf7, utf8, utf32, ascii, bigendianunicode, default y oem).

Editar

¿Te refieres al soporte iso-8859-1? Usar "String" hace esto, por ejemplo, viceversa.

gc -en string in.txt | Out-File -en utf8 out.txt

Nota: Los posibles valores de enumeración son "Desconocido, Cadena, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii".

• CsCvt - Kalytta's Character Set Converter es otra gran herramienta de conversión basada en línea de comandos para Windows.

Enfoque de utilidad independiente

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

No tiene que especificar ninguno de estos argumentos. Se establecerán de manera predeterminada en su ubicación actual, que generalmente es UTF-8.

Prueba VIM

Si usted tiene vim puedes usar esto:

No probado para cada codificación.

Lo bueno de esto es que no tienes que saber la codificación de origen

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Tenga en cuenta que este comando modifica directamente el archivo

Explicación parte!

1. +: Utilizado por vim para ingresar directamente el comando al abrir un archivo. Usualmente se usa para abrir un archivo en una línea específica:vim +14 file.txt
2. |: Separador de múltiples comandos (como ;en bash)
3. set nobomb : sin utf-8 BOM
4. set fenc=utf8: Establece una nueva codificación en el enlace de documento utf-8
5. x : Guardar y cerrar archivo
6. filename.txt : ruta al archivo
7. ": qotes están aquí debido a las tuberías. (de lo contrario, bash los usará como tubería de bash)

En Linux, puede usar el comando de recodificación muy poderoso para intentar convertir entre los diferentes conjuntos de caracteres, así como cualquier problema de final de línea. recode -l le mostrará todos los formatos y codificaciones que la herramienta puede convertir. Es probable que sea una lista MUY larga.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

También hay herramientas basadas en iconv en muchos idiomas.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

La versión más corta, si puede suponer que la lista de materiales de entrada es correcta:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Prueba la función iconv Bash

He puesto esto en .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

..para poder convertir archivos así:

utf8 MyClass.java

Prueba Notepad ++

En Windows pude usar Notepad ++ para hacer la conversión de ISO-8859-1 a UTF-8 . Haga clic "Encoding"y luego "Convert to UTF-8".

Oneliner usando find, con detección automática de juego de caracteres

La codificación de caracteres de todos los archivos de texto coincidentes se detecta automáticamente y todos los archivos de texto coincidentes se convierten a utf-8codificación:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

Para realizar estos pasos, shse utiliza un subconjunto con -exec, ejecutando una línea con la -cbandera y pasando el nombre del archivo como argumento posicional "$1"con -- {}. En el medio, el utf-8archivo de salida se nombra temporalmente converted.

Por lo que file -bisignifica:

• -b, --brief No anteponga nombres de archivo a las líneas de salida (modo breve).

• -i, --mime Hace que el comando de archivo genere cadenas de tipo mime en lugar de las más legibles por humanos. Por lo tanto, puede decir, por ejemplo, en text/plain; charset=us-asciilugar de ASCII text. El sedcomando corta esto solo us-asciicomo lo requiere iconv.

El findcomando es muy útil para dicha automatización de gestión de archivos. Haga clic aquí para más findabundancia .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: use la página de códigos

chcp 65001>NUL
type ascii.txt > unicode.txt

El comando chcpse puede usar para cambiar la página de códigos. La página de códigos 65001 es el nombre de Microsoft para UTF-8. Después de configurar la página de códigos, la salida generada por los siguientes comandos será del conjunto de páginas de códigos.

para escribir el archivo de propiedades (Java) normalmente lo uso en Linux (distribuciones mint y ubuntu):

$ native2ascii filename.properties

Por ejemplo:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PD: escribí la Ejecución número uno / dos en portugues para forzar caracteres especiales.

En mi caso, en la primera ejecución recibí este mensaje:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

Cuando instalé la primera opción (gcj-5-jdk) el problema estaba terminado.

Espero que esto ayude a alguien.

Con rubí:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Fuente: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Use este script de Python: https://github.com/goerz/convert_encoding.py Funciona en cualquier plataforma. Requiere Python 2.7.

Mi herramienta favorita para esto es Jedit (un editor de texto basado en Java) que tiene dos características muy convenientes:

• Uno que permite al usuario volver a cargar un texto con una codificación diferente (y, como tal, controlar visualmente el resultado)
• Otro que permite al usuario elegir explícitamente la codificación (y el final de la línea char) antes de guardar

Simplemente cambie la codificación del archivo cargado en IntelliJ IDEA IDE, a la derecha de la barra de estado (abajo), donde se indica el juego de caracteres actual. Solicita Recargar o Convertir, use Convertir. Asegúrese de hacer una copia de seguridad del archivo original por adelantado.

Si las aplicaciones de la GUI de macOS son su pan de cada día, SubEthaEdit es el editor de texto al que suelo para la codificación y la disputa: su "vista previa de conversión" le permite ver todos los caracteres no válidos en la codificación de salida y corregirlos / eliminarlos.

Y ahora es de código abierto , así que para ellos 😉.

Como se describe en ¿Cómo corrijo la codificación de caracteres de un archivo? Synalyze It! le permite convertir fácilmente en OS X entre todas las codificaciones compatibles con la biblioteca ICU .

Además, puede mostrar algunos bytes de un archivo traducido a Unicode de todas las codificaciones para ver rápidamente cuál es el correcto para su archivo.