Identificar líneas duplicadas en un archivo sin eliminarlas?

Tengo mis referencias como un archivo de texto con una larga lista de entradas y cada una tiene dos (o más) campos.

La primera columna es la url de la referencia; la segunda columna es el título que puede variar un poco dependiendo de cómo se realizó la entrada. Lo mismo para el tercer campo que puede o no estar presente.

Quiero identificar pero no eliminar entradas que tienen el primer campo (URL de referencia) idéntico. Lo sé, sort -k1,1 -upero eso eliminará automáticamente (de forma no interactiva) todos menos el primer golpe. ¿Hay alguna manera de avisarme para que pueda elegir cuál conservar?

En el extracto a continuación de tres líneas que tienen el mismo primer campo ( http://unix.stackexchange.com/questions/49569/), me gustaría mantener la línea 2 porque tiene etiquetas adicionales (ordenar, CLI) y eliminar las líneas # 1 y # 3:

http://unix.stackexchange.com/questions/49569/  unique-lines-based-on-the-first-field
http://unix.stackexchange.com/questions/49569/  Unique lines based on the first field   sort, CLI
http://unix.stackexchange.com/questions/49569/  Unique lines based on the first field

¿Existe un programa para ayudar a identificar tales "duplicados"? Entonces, ¿puedo limpiar manualmente eliminando personalmente las líneas 1 y 3?

Si entiendo tu pregunta, creo que necesitas algo como:

for dup in $(sort -k1,1 -u file.txt | cut -d' ' -f1); do grep -n -- "$dup" file.txt; done

o:

for dup in $(cut -d " " -f1 file.txt | uniq -d); do grep -n -- "$dup" file.txt; done

¿Dónde file.txtestá interesado su archivo que contiene datos sobre usted?

En la salida verá el número de líneas y líneas donde se encuentra el primer campo dos o más veces.

Este es un problema clásico que se puede resolver con el uniqcomando. uniqpuede detectar líneas consecutivas duplicadas y eliminar duplicados ( -u, --unique) o mantener solo duplicados ( -d, --repeated).

Dado que el orden de las líneas duplicadas no es importante para usted, primero debe ordenarlo. Luego, use uniqpara imprimir solo líneas únicas:

sort yourfile.txt | uniq -u

También hay una opción -c( --count) que imprime el número de duplicados para la -dopción. Vea la página del manual de uniqpara más detalles.

Si realmente no le importan las partes después del primer campo, puede usar el siguiente comando para buscar claves duplicadas e imprimir cada número de línea (agregue otro | sort -npara ordenar la salida por línea):

 cut -d ' ' -f1 .bash_history | nl | sort -k2 | uniq -s8 -D

Como desea ver líneas duplicadas (usando el primer campo como clave), no puede usar directamente uniq. El problema que dificulta la automatización es que las partes del título varían, pero un programa no puede determinar automáticamente qué título debe considerarse el último.

Aquí hay un script AWK (guárdelo script.awk) que toma su archivo de texto como entrada e imprime todas las líneas duplicadas para que pueda decidir cuál eliminar. ( awk -f script.awk yourfile.txt)

#!/usr/bin/awk -f
{
    # Store the line ($0) grouped per URL ($1) with line number (NR) as key
    lines[$1][NR] = $0;
}
END {
    for (url in lines) {
        # find lines that have the URL occur multiple times
        if (length(lines[url]) > 1) {
            for (lineno in lines[url]) {
                # Print duplicate line for decision purposes
                print lines[url][lineno];
                # Alternative: print line number and line
                #print lineno, lines[url][lineno];
            }
        }
    }
}

Si leo esto correctamente, todo lo que necesitas es algo como

awk '{print $1}' file | sort | uniq -c | 
    while read num dupe; do [[ $num > 1 ]] && grep -n -- "$dupe" file; done

Eso imprimirá el número de la línea que contiene el engaño y la línea misma. Por ejemplo, usando este archivo:

foo bar baz
http://unix.stackexchange.com/questions/49569/  unique-lines-based-on-the-first-field
bar foo baz
http://unix.stackexchange.com/questions/49569/  Unique lines based on the first field   sort, CLI
baz foo bar
http://unix.stackexchange.com/questions/49569/  Unique lines based on the first field

Producirá esta salida:

2:http://unix.stackexchange.com/questions/49569/  unique-lines-based-on-the-first-field
4:http://unix.stackexchange.com/questions/49569/  Unique lines based on the first field   sort, CLI
6:http://unix.stackexchange.com/questions/49569/  Unique lines based on the first field

Para imprimir solo el número de la línea, puede hacer

awk '{print $1}' file | sort | uniq -c | 
 while read num dupe; do [[ $num > 1 ]] && grep -n -- "$dupe" file; done | cut -d: -f 1

Y para imprimir solo la línea:

awk '{print $1}' file | sort | uniq -c | 
while read num dupe; do [[ $num > 1 ]] && grep -n -- "$dupe" file; done | cut -d: -f 2-

Explicación:

El awkscript solo imprime el primer campo separado del espacio del archivo. Use $Npara imprimir el enésimo campo. sortlo ordena y uniq -ccuenta las ocurrencias de cada línea.

Esto luego se pasa al whilebucle que guarda el número de ocurrencias como $numy la línea como $dupey si $numes mayor que uno (por lo que se duplica al menos una vez) buscará el archivo para esa línea, utilizando -npara imprimir el número de línea. El --le dice grepque lo que sigue no es una opción de línea de comando, útil para cuándo $dupepuede comenzar -.

Sin duda, el más detallado de la lista, probablemente podría ser más corto:

#!/usr/bin/python3
import collections
file = "file.txt"

def find_duplicates(file):
    with open(file, "r") as sourcefile:
        data = sourcefile.readlines()
    splitlines = [
        (index, data[index].split("  ")) for index in range(0, len(data))
        ]
    lineheaders = [item[1][0] for item in splitlines]
    dups = [x for x, y in collections.Counter(lineheaders).items() if y > 1]
    dupsdata = []
    for item in dups:
        occurrences = [
            splitlines_item[0] for splitlines_item in splitlines\
                       if splitlines_item[1][0] == item
            ]
        corresponding_lines = [
            "["+str(index)+"] "+data[index] for index in occurrences
            ]
        dupsdata.append((occurrences, corresponding_lines))

    # printing output   
    print("found duplicates:\n"+"-"*17)
    for index in range(0, len(dups)):
        print(dups[index], dupsdata[index][0])
        lines = [item for item in dupsdata[index][1]]
        for line in lines:
            print(line, end = "")


find_duplicates(file)

da en un archivo de texto como:

monkey  banana
dog  bone
monkey  banana peanut
cat  mice
dog  cowmeat

una salida como:

found duplicates:
-----------------
dog [1, 4]
[1] dog  bone
[4] dog  cowmeat
monkey [0, 2]
[0] monkey  banana
[2] monkey  banana peanut

Una vez que haya elegido las líneas para eliminar:

removelist = [2,1]

def remove_duplicates(file, removelist):
    removelist = sorted(removelist, reverse=True)
    with open(file, "r") as sourcefile:
        data = sourcefile.readlines()
    for index in removelist:
        data.pop(index)
    with open(file, "wt") as sourcefile:
        for line in data:
            sourcefile.write(line)

remove_duplicates(file, removelist)

Ver lo siguiente ordenado file.txt:

addons.mozilla.org/en-US/firefox/addon/click-to-play-per-element/ ::: C2P per-element
addons.mozilla.org/en-us/firefox/addon/prospector-oneLiner/ ::: OneLiner
askubuntu.com/q/21033 ::: What is the difference between gksudo and gksu?
askubuntu.com/q/21148 ::: openoffice calc sheet tabs (also askubuntu.com/q/138623)
askubuntu.com/q/50540 ::: What is Ubuntu's Definition of a "Registered Application"?
askubuntu.com/q/53762 ::: How to use lm-sensors?
askubuntu.com/q/53762 ::: how-to-use-to-use-lm-sensors
stackoverflow.com/q/4594319 ::: bash - shell replace cr\lf by comma
stackoverflow.com/q/4594319 ::: shell replace cr\lf by comma
wiki.ubuntu.com/ClipboardPersistence ::: ClipboardPersistence
wiki.ubuntu.com/ClipboardPersistence ::: ClipboardPersistence - Ubuntu Wiki
www.youtube.com/watch?v=1olY5Qzmbk8 ::: Create new mime types in Ubuntu
www.youtube.com/watch?v=2hu9JrdSXB8 ::: Change mouse cursor
www.youtube.com/watch?v=Yxfa2fXJ1Wc ::: Mouse cursor size

Debido a que la lista es corta, puedo ver (después de ordenar) que hay tres conjuntos de duplicados.

Entonces, por ejemplo, puedo elegir mantener:

askubuntu.com/q/53762 ::: How to use lm-sensors?

más bien que

askubuntu.com/q/53762 ::: how-to-use-to-use-lm-sensors

Pero para una lista más larga esto será difícil. Basado en las dos respuestas, una que sugiere uniqy la otra que sugiere cut, encuentro que este comando me da el resultado que me gustaría:

$ cut -d " " -f1 file.txt | uniq -d
askubuntu.com/q/53762
stackoverflow.com/q/4594319
wiki.ubuntu.com/ClipboardPersistence
$

Ella es como lo resolví:

file_with_duplicates:

1,a,c
2,a,d
3,a,e <--duplicate
4,a,t
5,b,k <--duplicate
6,b,l
7,b,s
8,b,j
1,b,l
3,a,d <--duplicate
5,b,l <--duplicate

Archivo ordenado y deducido por las columnas 1 y 2:

sort -t',' -k1,1 -k2,2 -u file_with_duplicates

Archivo ordenado solo por las columnas 1 y 2:

sort -t',' -k1,1 -k2,2 file_with_duplicates

Mostrar solo la diferencia:

diff <(sort -t',' -k1,1 -k2,2 -u file_with_duplicates) <(sort -t',' -k1,1 -k2,2 file_with_duplicates)

 3a4
   3,a,d
 6a8
   5,b,l