Preguntas etiquetadas con duplicate

¿Existe un buscador de imágenes duplicadas gratuito y de código abierto para sistemas basados ​​en Linux? Encontrar duplicados exactos (basados ​​en el contenido, no en el nombre del archivo) es suficiente para mí, pero la capacidad de encontrar imágenes similares también sería genial.

16 search  image-manipulation  images  duplicate 

Tengo una cuerda como "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Quiero eliminar la palabra duplicada de la cadena y luego la salida será como "aaa,bbb,ccc" Intenté este código Fuente $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Está funcionando bien con el mismo valor, pero cuando …

12 shell-script  shell  text-processing  xargs  duplicate 

Tengo una carpeta con archivos duplicados (por md5sum( md5en una Mac)) y quiero tener uncron trabajo programado para eliminar cualquier encontrado. Sin embargo, estoy atascado en cómo hacer esto. Lo que tengo hasta ahora: md5 -r * | sort Lo que genera algo como esto: 04c5d52b7acdfbecd5f3bdd8a39bf8fb gordondam_en-au11915031300_1366x768.jpg 1e88c6899920d2c192897c886e764fc2 fortbourtange_zh-cn9788197909_1366x768.jpg 266ea304b15bf4a5650f95cf385b16de …

10 bash  shell-script  hashsum  duplicate 

Algunas revistas generan un PDF diferente para cada descarga. APS, por ejemplo, almacena el tiempo y la dirección IP en el PDF. O hay una versión en papel con hipervínculos y otra con referencias de texto. ¿Cómo es posible encontrar descargas duplicadas de documentos con un contenido igual al 90% …

9 scripting  pdf  imagemagick  duplicate 

Estoy ejecutando Mac OSX e intento usar la línea de comando para encontrar la cantidad de archivos que tengo con el mismo nombre. Traté de usar el siguiente comando: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files No funciona! Cuando hago lo …

9 find  osx  filenames  duplicate  basename 

Tengo una biblioteca de música masiva (todo mp3), pero parte de la música es casi la misma pero: Tal vez uno o dos segundos más Alrededor del 97% lo mismo que otra canción. O otra tasa de bits. ¿Hay alguna manera de encontrar estos duplicados? Como se mencionó, no tienen …

9 mp3  music  duplicate 

Esta pregunta / respuesta tiene algunas buenas soluciones para eliminar líneas idénticas en un archivo, pero no funcionará en mi caso, ya que las líneas duplicadas tienen una marca de tiempo. ¿Es posible decirle a awk que ignore los primeros 26 caracteres de una línea para determinar duplicados? Ejemplo: [Fri …

8 text-processing  awk  duplicate  deduplication