Preguntas etiquetadas con deduplication

Estoy buscando una manera fácil (un comando o una serie de comandos, probablemente involucrados find) para encontrar archivos duplicados en dos directorios y reemplazar los archivos en un directorio con enlaces duros de los archivos en el otro directorio. Aquí está la situación: este es un servidor de archivos en …

137 files  hard-link  deduplication  duplicate-files 

No tengo experiencia con btrfs, pero se anuncia que puede desduplicar archivos. En mi aplicación, necesitaría duplicar árboles de directorios completos. Por lo que aprendí, btrfs solo se desduplica en algunas exploraciones posteriores, no de inmediato. Incluso el solo uso cpno parece desencadenar ninguna desduplicación (al menos, dfmuestra un mayor …

14 cp  file-copy  btrfs  deduplication 

Si busca herramientas de deduplicación en Linux, hay muchas, por ejemplo, consulte esta página wiki . Casi todas las secuencias de comandos solo detectan, imprimen los nombres de los archivos duplicados o eliminan los archivos duplicados al vincularlos en una sola copia. Con el aumento de btrfs, habría otra opción: …

9 btrfs  deduplication 

Tengo ~ 30k archivos. Cada archivo contiene ~ 100k líneas. Una línea no contiene espacios. Las líneas dentro de un archivo individual se ordenan y no se duplican. Mi objetivo: quiero encontrar todas las líneas duplicadas en dos o más archivos y también los nombres de los archivos que contienen …

9 shell-script  text-processing  performance  large-files  deduplication 

¿Cómo se puede generar un archivo tar, para que el contenido de los archivos tarred esté alineado en bloques como en los archivos originales, de modo que uno pueda beneficiarse de la deduplicación a nivel de bloque ( https://unix.stackexchange.com/a/208847/9689 ) ? (¿Estoy en lo cierto al decir que no hay …

8 btrfs  archive  deduplication 

Esta pregunta / respuesta tiene algunas buenas soluciones para eliminar líneas idénticas en un archivo, pero no funcionará en mi caso, ya que las líneas duplicadas tienen una marca de tiempo. ¿Es posible decirle a awk que ignore los primeros 26 caracteres de una línea para determinar duplicados? Ejemplo: [Fri …

8 text-processing  awk  duplicate  deduplication 

¿Cuáles son las soluciones disponibles para nivel de bloque o deduplicación más detallada? Hay archivos basados ​​en el enfoque "Copiar en escritura". Estoy buscando "copiar y escribir" en el nivel de bloque, por lo que periódicamente podría buscar bloques comunes o, preferiblemente, partes de archivos, fusionarlos y marcar la manera …

8 filesystems  deduplication