Verifique que todas las líneas de un archivo sean únicas

Tengo un archivo de texto que contiene líneas como esta:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

¿Cómo puedo estar seguro de la singularidad de cada línea?

NOTA: El objetivo es probar el archivo, no modificarlo si hay líneas duplicadas.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Awk solución:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Usando sort/ uniq:

sort input.txt | uniq

Para verificar solo las líneas duplicadas, use la -dopción para uniq. Esto mostrará solo líneas que están duplicadas, si no mostrará nada:

sort input.txt | uniq -d

TLDR

La pregunta original no estaba clara, y leía que el OP simplemente quería una versión única del contenido de un archivo. Eso se muestra a continuación. En la forma actualizada de la pregunta, el OP ahora declara que simplemente quiere saber si el contenido del archivo es único o no.

Prueba si el contenido del archivo es único o no

Simplemente puede usar sortpara verificar si un archivo es único o contiene duplicados de esta manera:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Ejemplo

Digamos que tengo estos dos archivos:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Ahora, cuando analizamos estos archivos, podemos saber si son únicos o si contienen duplicados:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Pregunta original (contenido único del archivo)

Se puede hacer con solo sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Usualmente sortutilizo el archivo, luego uso uniqpara contar la cantidad de duplicados, luego veo sortuna vez más los duplicados al final de la lista.

Agregué un duplicado a los ejemplos que proporcionó:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Como hace tiempo que no leo la página de manual uniq, busqué rápidamente cualquier alternativa. Lo siguiente elimina la necesidad del segundo tipo, si solo desea ver duplicados:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Si no hay duplicados, todas las líneas son únicas:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Descripción: Ordene las líneas del archivo para hacer que las líneas repetidas sean consecutivas (ordenar)
Extraiga todas las líneas consecutivas que sean iguales (uniq -d).
Si hay algún resultado del comando anterior ( [...]), entonces ( &&) imprime un mensaje.

¡Esto no estaría completo sin una respuesta de Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Esto imprimirá cada línea no única una vez: así que si no imprime nada, entonces el archivo tiene todas las líneas únicas.

Usando cmpy sorten bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

o

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Sin embargo, esto ordenaría el archivo dos veces, al igual que la respuesta aceptada.