Actualmente, tar -zcf arch.tgz files/*codifica los nombres de archivo en UTF, por lo que los usuarios de Windows ven todos los caracteres estropeados en nombres de archivo que no están en inglés y no pueden hacer nada con él.
zip -qq -r arch.zip files/* Tiene el mismo comportamiento.
¿Cómo puedo crear un archivo zip / tgz para que cuando los usuarios de Windows lo extraigan, todos los nombres de archivo estén codificados correctamente?
Respuestas:
Actualmente, tar codifica los nombres de archivo en UTF
En realidad, tar no codifica / decodifica nombres de archivos, simplemente los copia del sistema de archivos tal como está. Si su configuración regional está basada en UTF-8 (como en muchas distribuciones modernas de Linux), será UTF-8. Desafortunadamente, la página de códigos del sistema de un cuadro de Windows nunca es UTF-8, por lo que los nombres siempre se modificarán, excepto en herramientas como WinRAR que permiten cambiar el juego de caracteres.
Por lo tanto, es imposible crear un archivo ZIP con nombres de archivo que no sean ASCII que funcionen en las versiones de Windows de diferentes países y su compatibilidad con carpetas comprimidas incorporadas.
Es una deficiencia de los formatos tar y zip que no haya información de codificación fija o suministrada, por lo que los caracteres no ASCII siempre serán no portables. Si necesita un formato de archivo que no sea ASCII, deberá usar uno de los formatos más nuevos, como el reciente 7z o rar. Lamentablemente, estos todavía son inestables; en 7zip necesita el -mcuinterruptor, y rar todavía no usará UTF-8 a menos que detecte caracteres que no están en la página de códigos.
Básicamente es un desastre horrible y si puede evitar distribuir archivos que contengan nombres de archivos con caracteres que no sean ASCII, estará mucho mejor.
Aquí hay un script simple de Python que he escrito para descomprimir archivos tar de UNIX en Windows:
import tarfile
archive_name = "archive_name.tar"
def recover(name):
return unicode(name, 'utf-8')
tar = tarfile.open(name=archive_name, mode='r', bufsize=16*1024)
updated = []
for m in tar.getmembers():
m.name = recover(m.name)
updated.append(m)
tar.extractall(members=updated)
tar.close()
El problema, al usar en Linux el valor predeterminado tar(GNU tar), se resuelve ... agregando el --format=posixparámetro al crear el archivo.
Por ejemplo:
tar --format=posix -cf
En Windows, para extraer los archivos, uso bsdtar .
En https://lists.gnu.org/archive/html/bug-tar/2005-02/msg00018.html está escrito (¡desde 2005 !):
> Leí algo en ChangeLog acerca de que UTF-8 es compatible. ¿Qué significa
esto?
> No encontré ninguna manera de crear un archivo que fuera intercambiable
> entre diferentes configuraciones regionales.Al crear archivos en formato POSIX.1-2001 (tar --format = posix o --format = pax), tar convierte los nombres de los archivos de las configuraciones regionales actuales a UTF-8 y luego los almacena en el archivo. Al extraer, se realiza la operación inversa.
PD: en lugar de escribir --format=posix, puede escribir -H pax, que es más corto.
Creo que tienes problemas con el formato del contenedor Zip. El alquitrán puede estar sufriendo el mismo problema.
Utilice los formatos de archivo 7zip ( .7z) o RAR ( .rar) en su lugar. Ambos están disponibles para Windows y Linux; El p7zipsoftware maneja ambos formatos.
Acabo de probar la creación de .7z, .rar, .zip, y .tararchivos tanto WinXP y Debian 5, y el .7zy .rarlos archivos / restaurar almacén de nombres de archivo correctamente mientras que el .zipy .tarlos archivos no. No importa qué sistema se use para crear el archivo de prueba.
Tuve problemas con el desempaquetado tary los ziparchivos que recibo de los usuarios de Windows. Si bien no contesto la pregunta "cómo crear el archivo que funcionará", los siguientes scripts ayudan a descomprimir tary ziparchivar correctamente independientemente del sistema operativo original.
ADVERTENCIA: uno tiene que sintonizar la fuente que codifica manualmente ( cp1251, cp866en los ejemplos a continuación). Las opciones de línea de comandos pueden ser una buena solución en el futuro.
Alquitrán:
#!/usr/bin/env python
import tarfile
import codecs
import sys
def recover(name):
return codecs.decode(name, 'cp1251')
for tar_filename in sys.argv[1:]:
tar = tarfile.open(name=tar_filename, mode='r', bufsize=16*1024)
updated = []
for m in tar.getmembers():
m.name = recover(m.name)
updated.append(m)
tar.extractall(members=updated)
tar.close()
Cremallera:
#!/usr/bin/env python
import zipfile
import os
import codecs
import sys
def recover(name):
return codecs.decode(name, 'cp866')
for filename in sys.argv[1:]:
archive = zipfile.ZipFile(filename, 'r')
infolist = archive.infolist()
for i in infolist:
f = recover(i.filename)
print f
if f.endswith("/"):
os.makedirs(os.path.dirname(f))
else:
open(f, 'w').write(archive.read(i))
archive.close()
UPD 2018-01-02 : uso el chardetpaquete para adivinar la codificación correcta de la porción de datos sin procesar. Ahora el script funciona de forma predeterminada en todos mis archivos malos, así como en los buenos.
Cosas a tener en cuenta:
chardetno funciona con un objeto unicode normal).Versión final:
#!/usr/bin/env python2
# coding=utf-8
import zipfile
import os
import codecs
import sys
import chardet
def make_encoding_normalizer(txt):
u'''
Takes raw data and returns function to normalize encoding of the data.
* `txt` is either unicode or raw bytes;
* `chardet` library is used to guess the correct encoding.
>>> n_unicode = make_encoding_normalizer(u"Привет!")
>>> print n_unicode(u"День добрый")
День добрый
>>> n_cp1251 = make_encoding_normalizer(u"Привет!".encode('cp1251'))
>>> print n_cp1251(u"День добрый".encode('cp1251'))
День добрый
>>> type(n_cp1251(u"День добрый".encode('cp1251')))
<type 'unicode'>
'''
if isinstance(txt, unicode):
return lambda text: text
enc = chardet.detect(txt)['encoding']
return lambda file_name: codecs.decode(file_name, enc)
for filename in sys.argv[1:]:
archive = zipfile.ZipFile(filename, 'r')
infolist = archive.infolist()
probe_txt = "\n".join(i.filename for i in infolist)
normalizer = make_encoding_normalizer(probe_txt)
for i in infolist:
print i.filename
f = normalizer(i.filename)
print f
dirname = os.path.dirname(f)
if dirname:
assert os.path.abspath(dirname).startswith(os.path.abspath(".")), \
"Security violation"
if not os.path.exists(dirname):
os.makedirs(dirname)
if not f.endswith("/"):
open(f, 'w').write(archive.read(i))
archive.close()
if __name__ == '__main__' and len(sys.argv) == 1:
# Hack for Python 2.x to support unicode source files as doctest sources.
reload(sys)
sys.setdefaultencoding("UTF-8")
import doctest
doctest.testmod()
print "If there are no messages above, the script passes all tests."
POSIX-1.2001 especificó cómo TAR usa UTF-8.
A partir de 2007, la versión 6.3.0 del registro de cambios en PKZIP APPNOTE.TXT ( http://www.pkware.com/documents/casestudies/APPNOTE.TXT ) especificó cómo ZIP usa UTF-8.
Es solo qué herramientas soportan estos estándares adecuadamente, eso sigue siendo una pregunta abierta.