Problema de codificación de Java FileReader

Intenté usar java.io.FileReader para leer algunos archivos de texto y convertirlos en una cadena, pero descubrí que el resultado está codificado incorrectamente y no es legible en absoluto.

Aquí está mi entorno:

• Windows 2003, codificación del sistema operativo: CP1252

• Java 5.0

Mis archivos están codificados en UTF-8 o CP1252, y algunos de ellos (archivos codificados en UTF-8) pueden contener caracteres chinos (no latinos).

Yo uso el siguiente código para hacer mi trabajo:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

El código anterior no funciona. Descubrí que la codificación del FileReader es CP1252 incluso si el texto está codificado en UTF-8. Pero el JavaDoc de java.io.FileReader dice que:

Los constructores de esta clase asumen que la codificación de caracteres predeterminada y el tamaño de byte-buffer predeterminado son apropiados.

¿Significa esto que no estoy obligado a configurar la codificación de caracteres por mi cuenta si estoy usando FileReader? Pero obtuve datos codificados incorrectamente actualmente, ¿cuál es la forma correcta de lidiar con mi situación? Gracias.

Sí, debe especificar la codificación del archivo que desea leer.

Sí, esto significa que debe conocer la codificación del archivo que desea leer.

No, no hay una forma general de adivinar la codificación de cualquier archivo de "texto plano".

Los constructores de un argumentoFileReader siempre usan la codificación predeterminada de la plataforma, que generalmente es una mala idea .

Desde Java 11 FileReadertambién ha ganado constructores que aceptan una codificación: new FileReader(file, charset)y new FileReader(fileName, charset).

En versiones anteriores de java, debe usar .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader utiliza la codificación predeterminada de la plataforma Java, que depende de la configuración del sistema de la computadora en la que se está ejecutando y generalmente es la codificación más popular entre los usuarios de esa configuración regional.

Si esta "mejor suposición" no es correcta, entonces debe especificar la codificación explícitamente. Lamentablemente, FileReaderno permite esto (supervisión importante en la API). En su lugar, debe usar new InputStreamReader(new FileInputStream(filePath), encoding)e idealmente obtener la codificación de los metadatos sobre el archivo.

Desde Java 11 puede usar eso:

public FileReader(String fileName, Charset charset) throws IOException;

Para Java 7+ doc puede usar esto:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Aquí están todos los documentos de Charsets

Por ejemplo, si su archivo está en CP1252, use este método

Charset.forName("windows-1252");

Aquí hay otros nombres canónicos para codificaciones Java tanto para IO como para NIO doc.

Si usted no sabe con codificación es exactamente lo que tienes en un archivo, es posible utilizar algunas librerías de terceros, como esta herramienta de Google este , que funciona bastante bien cuidado.

FileInputStream con InputStreamReader es mejor que usar directamente FileReader, porque este último no le permite especificar el conjunto de caracteres de codificación.

Aquí hay un ejemplo usando BufferedReader, FileInputStream y InputStreamReader juntos, para que pueda leer las líneas de un archivo.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Para otro como idiomas latinos, por ejemplo cirílico, puede usar algo como esto:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

y asegúrese de que su .txtarchivo se guarde con el formato UTF-8(pero no como predeterminado ANSI). ¡Salud!