Use basename para analizar una lista de rutas contenidas en un archivo

Estoy ejecutando Mac OSX e intento usar la línea de comando para encontrar la cantidad de archivos que tengo con el mismo nombre.

Traté de usar el siguiente comando:

find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files

No funciona! Cuando hago lo siguiente:

find ~ -type f -name "*" -print > duplicate_files

Entonces duplicate_files contiene las rutas de todos mis archivos. Así que creo que el problema es con basename: no acepta entradas estándar. Luego probé lo siguiente:

basename $(find ~ -type f -name "*" -print) > duplicate_files

pero de nuevo eso no parece funcionar. La búsqueda en Internet no parece producir mucha alegría. Cualquier pensamiento más bienvenido.

basename opera en su argumento de línea de comando, no lee de la entrada estándar.

No necesita llamar a la basenameutilidad, y es mejor que no: todo lo que haría sería quitar la parte antes de la última /, y sería lento llamar a un comando externo para cada entrada, puede usar un procesamiento de texto utilidad en su lugar.

find ~ -type f | sed 's!.*/!!' | sort | uniq -d

Puede ser más útil realizar un seguimiento de la ubicación de los archivos. Ordenar por nombre hace que sea más fácil localizar duplicados, pero sortno tiene una opción para usar el último campo. Lo que puede hacer es copiar el último /campo separado al principio, luego ordenar y luego usar un poco de procesamiento ad hoc awk para extraer y presentar los duplicados.

find ~ -type f |
sed 's!.*/\(.*\)!\1/&!' |   # copy the last field to the beginning
sort -t/ -k1,1 |
cut -d/ -f2- |   # remove the extra first field (could be combined with awk below)
awk -F / '{
    if ($NF == name) {
        if (previous != "") {print previous; previous = ""}
        print
    } else {
        previous = $0
        name = $NF
    }
'

(Tenga en cuenta que supongo que ninguno de sus nombres de archivo contiene caracteres de nueva línea).

¿Por qué no utilizar las findfunciones incorporadas para generar solo el nombre de archivo?

find ~ -type f -printf '%f\n' | sort | uniq -c

(asume GNU find) o al menos algo como esto:

find ~ -exec basename {} \; | sort | uniq -c

basename no puede leer a través de una tubería o procesar varios archivos a la vez

PD. No es necesario especificar -name '*'si desea enumerar todos los archivos. Esta es una opción por defecto.

Esto parece funcionar para mí en OSX:

find ~ -type f -exec basename -a {} + | sort | uniq -d

Alternativas (supone que no hay nueva línea en los nombres de archivo):

find ~ -type f | awk -F/ '{print $NF}' | sort | uniq -d

Puede usar xargscon basenamepara obtener la salida deseada, como esta:

find ~ -type f -name "*" -print | xargs -l basename | sort | uniq -d > duplicate_files

Con una versión reciente de bashque maneja matrices asociativas, lo siguiente también manejaría nombres de ruta con nuevas líneas incrustadas:

#!/bin/bash

topdir=$HOME

shopt -s globstar  # enable the ** glob

declare -A count

# count the number of times each filename (base name) occurs
for pathname in "$topdir"/**; do
    # skip names that are not regular files (or not symbolic links to such files)
    [ ! -f "$pathname" ] && continue

    # get the base name
    filename=${pathname##*/}

    # add one to this base name's count
    count[$filename]=$(( ${count[$filename]} + 1 ))
done

# go through the collected names and print any name that
# has a count greater than one
for filename in "${!count[@]}"; do
    if [ "${count[$filename]}" -gt 1 ]; then
        printf 'Duplicate filename: %s\n' "$filename"
    fi
done

Esto no utiliza ninguna utilidad externa.