Preguntas etiquetadas con utf-16

¿Cuáles son las diferencias entre UTF-8, UTF-16 y UTF-32? Entiendo que todos almacenarán Unicode, y que cada uno usa un número diferente de bytes para representar un carácter. ¿Hay alguna ventaja en elegir uno sobre el otro?

487 unicode  utf-8  utf-16  utf  utf-32 

¿Cuál es la base de Unicode y por qué la necesidad de UTF-8 o UTF-16? Investigué esto en Google y busqué aquí también, pero no me queda claro. En VSS al hacer una comparación de archivos, a veces hay un mensaje que dice que los dos archivos tienen UTF diferentes. …

395 unicode  encoding  utf-8  utf-16 

Estaba leyendo la documentación para StringBuffer, en particular, el método reverse () . Esa documentación menciona algo sobre pares sustitutos . ¿Qué es un par sustituto en este contexto? ¿Y qué son los sustitutos bajos y altos ?

149 java  unicode  utf-16  surrogate-pairs 

Estoy rastreando un archivo de máquina virtual de PC virtual (* .vmc) en git, y después de hacer un cambio, git identificó el archivo como binario y no me diferenció. Descubrí que el archivo estaba codificado en UTF-16. ¿Se puede enseñar a git a reconocer que este archivo es texto …

140 git  unicode  character-encoding  diff  utf-16 

¿Diferencia entre UTF-8 y UTF-16? ¿Por qué necesitamos estos? MessageDigest md = MessageDigest.getInstance("SHA-256"); String text = "This is some text"; md.update(text.getBytes("UTF-8")); // Change this to "UTF-16" if needed byte[] digest = md.digest();

137 java  unicode  utf-8  utf-16  utf 

Aquí dos preguntas. Tengo un conjunto de archivos que suelen ser UTF-8 con BOM. Me gustaría convertirlos (idealmente en su lugar) a UTF-8 sin BOM. Parece codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)que manejaría esto. Pero realmente no veo buenos ejemplos de uso. ¿Sería esta la mejor manera de manejar esto? …

81 python  utf-8  utf-16  byte-order-mark