Preguntas etiquetadas con unicode

Voy a preguntar lo que probablemente sea una pregunta bastante controvertida: "¿Debería una de las codificaciones más populares, UTF-16, considerarse nociva?" ¿Por qué hago esta pregunta? ¿Cuántos programadores son conscientes del hecho de que UTF-16 es en realidad una codificación de longitud variable? Con esto quiero decir que hay puntos …

432 unicode 

En el caso de que ocurriera una invasión extraterrestre y nos viéramos obligados a admitir sus idiomas en todos nuestros sistemas informáticos existentes, ¿está diseñado UTF-8 de una manera que permita su gran cantidad de caracteres? (Por supuesto, no sabemos si los extraterrestres realmente tienen idiomas, si o cómo se …

86 unicode  utf-8 

Recientemente intenté implementar un algoritmo de clasificación, AllegSkill, en Python 3. Así es como se ven las matemáticas: No realmente. Esto es lo que escribí: t = (µw-µl)/c # those are used in e = ε/c # multiple places. σw_new = (σw**2 * (1 - (σw**2)/(c**2)*Wwin(t, e)) + γ**2)**.5 De …

82 naming  unicode 

Pensé que Unicode fue diseñado para solucionar el problema de tener muchas codificaciones diferentes debido a un pequeño espacio de direcciones (8 bits) en la mayoría de los intentos anteriores (ASCII, etc.). ¿Por qué entonces hay tantas codificaciones Unicode? Incluso múltiples versiones de la (esencialmente) la misma, como UTF-8, UTF-16, …

41 unicode  text-encoding 

Nuestro software de línea de negocio permite al usuario guardar ciertos datos como CSV . Dado que hay muchos formatos diferentes (todos llamados "CSV") en uso en la naturaleza, estamos tratando de decidir cómo debería ser el "formato predeterminado". Con respecto a los separadores de línea / campo y al …

37 standards  unicode  csv  file-formats 

Los Términos de uso de Unicode establecen que cualquier software que use sus archivos de datos (o una modificación de ellos) debe llevar las referencias de licencia de Unicode. Me parece que la mayoría de las bibliotecas Unicode tienen funciones para verificar si un carácter es un dígito, una letra, …

35 unicode  licensing 

Estoy aprendiendo T-SQL. A partir de los ejemplos que he visto, para insertar texto en una varchar()celda, puedo escribir solo la cadena para insertar, pero para las nvarchar()celdas, en cada ejemplo se prefieren las cadenas con la letra N. Intenté la siguiente consulta en una tabla que tiene nvarchar()filas, y …

34 sql  sql-server  character-encoding  unicode 

Una mascota mía está mirando tantos proyectos de software que tienen montañas de código para el soporte de juegos de caracteres. No me malinterpreten, estoy a favor de la compatibilidad, y estoy feliz de que los editores de texto le permitan abrir y guardar archivos en múltiples conjuntos de caracteres. …

31 unicode  utf-8  character-encoding 

Me imagino que la razón fue rápida, como acceso de matriz al carácter en el índice, pero algunos caracteres no caben en 16 bits, por lo que no funcionaría ... Entonces, si de todos modos tiene que manejar casos especiales, ¿por qué no usar UTF-8?

29 java  strings  unicode 

En el trabajo me encuentro con muchos archivos de texto en japonés en Shift-JIS y otras codificaciones. Causa muchos problemas de mojibake (caracteres ilegibles) para todos los usuarios de computadoras. Unicode tenía la intención de resolver este tipo de problema definiendo un solo juego de caracteres para todos los idiomas, …

24 legacy  unicode  character-encoding 

Unicode tiene quizás 50 espacios \ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u1680 \ u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000] [\ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u16A u180E …

19 unicode 

Todo el mundo sabe que PHP tiene problemas con Unicode. La versión 6 se abandona efectivamente debido a las dificultades de implementación de Unicode. Pero me pregunto si alguien sabe cuáles son las razones exactas . ¿Problemas de arquitectura / diseño, problemas de rendimiento, problemas de la comunidad (apuesto a …

18 php  open-source  architecture  language-design  unicode 

Estaba viendo la presentación de Jon Skeet (con Tony the Pony) de Dev-Days. Aunque "escribir una función inversa de cadena" codifica la entrevista 101, no estoy seguro de que sea posible escribir una función general inversa de cadena, ciertamente no una que funcione en todas las localizaciones y todos los …

16 algorithms  strings  unicode  localization 

¿UTF-16 tiene ancho fijo o ancho variable? Obtuve diferentes resultados de diferentes fuentes: De http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF : UTF-16 almacena caracteres Unicode en fragmentos de dieciséis bits. De http://en.wikipedia.org/wiki/UTF-16/UCS-2 : UTF-16 (formato de transformación Unicode de 16 bits) es una codificación de caracteres para Unicode capaz de codificar 1,112,064 [1] números (llamados …

16 unicode  character-encoding  utf-8 

Estoy diseñando un formato de archivo y quiero hacerlo bien. Como es un formato binario, el primer byte (o bytes) del archivo no debe formar caracteres de texto válidos (como en el encabezado 1 del archivo PNG ). Esto permite que las herramientas que no reconocen el formato sigan viendo …

14 unicode