¿Qué formatos de archivo de almacenamiento proporcionan protección de recuperación contra la corrupción de archivos?

10

Utilizo mi HDD externo para hacer una copia de seguridad de mis archivos, colocándolos en archivos grandes.

Tengo miles de archivos pequeños y los guardo en archivos de 500 MB a 4,2 GB de tamaño, antes de enviarlos al disco duro externo. Pero, ¿una falla del disco duro destruye todo el archivo o solo un archivo en el archivo? Me temo que un poco volcado podría inutilizar gran parte del archivo.

Cosas como las comprobaciones de CRC pueden alertarlo sobre la existencia de corrupción, pero estoy más interesado en la capacidad de recuperar los archivos no dañados de un archivo dañado. ¿Qué formatos de archivo de archivo proporcionarían la mejor capacidad para recuperarse de tales fallas, ya sea a través del diseño nativo de la estructura de archivo o la existencia de herramientas de recuperación complementarias? ¿Hay alguna diferencia en esta capacidad entre archivos zip e iso?

— sevenkul
fuente

Sé que al menos uno de los programas que uso para la sincronización de archivos admite la copia multiproceso, lo que creo mitiga parte de la lentitud de la copia de muchos archivos pequeños; Además, aunque tendría que probar para estar seguro, tengo la sospecha de que crear un archivo de muchos archivos pequeños también tomaría más tiempo que crear un archivo para varios archivos grandes, incluso si no se usa compresión. Sin embargo, no recuerdo si este es un problema exclusivo de Windows; iirc, hay algunas soluciones de software disponibles para Linux que pueden manejar muchos archivos pequeños en bloques, pero no puedo recordar los detalles.

— JAB

Vuelve a abrir la pregunta. Lo he redactado nuevamente, y ahora debería estar más claro. "Lo mejor" siempre estará algo basado en la opinión, pero el requisito de ser el mejor aquí es bastante claro. Poco espacio para opiniones personales en mi humilde opinión. Elimina este comentario después de volver a abrir.

— Marcel

8

Dado que un daño en una parte del directorio de cualquier archivo podría potencialmente inutilizar todo el archivo, su mejor opción sería agregar un paso separado a su proceso de copia de seguridad para generar los llamados archivos de paridad . En caso de que un bloque de datos en el archivo original se dañe, se puede reconstruir combinando datos del archivo de paridad con bloques válidos del archivo original.

La variable allí sería cuánto daño le gustaría poder reparar. Si desea protegerse contra un cambio de un solo bit, su archivo de paridad tendrá un tamaño de solo 1 bit. Si desea algo en una melodía de un tamaño de sector de disco, obviamente obviamente le costará más.

Hay una gran teoría detrás de esto (ver Corrección de errores hacia adelante ) y se usa ampliamente en la práctica. Por ejemplo, así es como los CD pueden soportar cierto grado de rayado y cómo los teléfonos celulares pueden mantener una calidad de llamada razonable sobre las conexiones con pérdida.

Larga historia corta, eche un vistazo a los .pararchivos.

— Angstrom
fuente

1

Gracias, mientras buscaba archivos de paridad encontré el registro de recuperación de WinRAR más simple en el uso diario. También intentaré QuickPar.

— sevenkul

2

Un bit de datos de corrección de errores no es suficiente para reparar un error de un bit en su archivo de datos de n bits. Puede detectar dicho error con un solo bit, pero para repararlo, necesita al menos registrar n bits.

— Thom Smith

4

Bup [1] realiza una copia de seguridad y agrega automáticamente redundancia de paridad, lo que hace que la descomposición de bits sea extremadamente improbable. La falla del disco catastrófico todavía es una cosa, por lo que podemos usarla con git-annex.

git-annex [2] gestiona archivos almacenados en muchos repositorios, algunos de los cuales pueden estar almacenados en su computadora, unidades de memoria USB, inicio de sesión ssh, algunos servicios en la nube o un repositorio de copia de seguridad bup [3], permitiendo que los datos del archivo fluyan de manera bastante transparente por solicitud o automáticamente en el repositorio que haya configurado. También es un proyecto de software gratuito y de código abierto financiado por multitud que fue escrito en Haskell con versiones que se ejecutan en muchas plataformas, incluidas Linux, Mac, Windows y Android.

[1] https://github.com/bup/bup

[2] http://git-annex.branchable.com/

[3] http://git-annex.branchable.com/special_remotes/bup/

— Yuval Langer
fuente

3

Pero, ¿una falla del disco duro destruye todo el archivo o solo un archivo en el archivo?

Si realmente no hay alternativa a copiar todo como un gran archivo, probablemente tenga que tomar una decisión entre usar un archivo comprimido o sin comprimir.

El contenido de archivos sin comprimir, como tarballs , aún se puede detectar con el software de recuperación de archivos, incluso si el archivo en sí ya no se puede leer (por ejemplo, debido a un encabezado corrupto).

El uso de archivos comprimidos puede ser peligroso porque algunos podrían negarse a extraer archivos si se produce un error de suma de comprobación que puede ser causado incluso si solo cambia un bit del archivo comprimido.

Por supuesto, uno puede minimizar el riesgo al no almacenar cientos de archivos en un archivo comprimido, sino cientos de archivos comprimidos en un archivo sin comprimir.

gzip *
tar cf archive.tar *.gz

Aunque nunca antes había visto muchos archivos comprimidos en un tarball en la vida salvaje. Solo lo opuesto es popular (es decir, archivos tar.gz).

¿Hay alguna diferencia entre los archivos zip e iso?

ZIP es un archivo comprimido (en su mayoría, pero no necesariamente) e ISO es un formato que indica los datos sin procesar copiados a bajo nivel desde un disco óptico a un archivo. Este último puede contener literalmente todo.

— dulange
fuente