Elimine todas las palabras duplicadas de la cadena usando el script de shell

Tengo una cuerda como

"aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"

Quiero eliminar la palabra duplicada de la cadena y luego la salida será como

"aaa,bbb,ccc"

Intenté este código Fuente

$ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

Está funcionando bien con el mismo valor, pero cuando doy mi valor variable, también muestra todas las palabras duplicadas.

¿Cómo puedo eliminar el valor duplicado?

ACTUALIZAR

Mi pregunta es agregar todo el valor correspondiente en una sola cadena si el usuario es el mismo. Tengo datos como este ->

   user name    | colour
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green

En la codificación, busco a todos los usuarios distintos y luego concateno la cadena de color con éxito. Para eso estoy usando código:

while read the records 

    if [ "$c" == "" ]; then  #$c I defined global
        c="$colour1"
    else
        c="$c,$colour1" 
    fi

Cuando imprimo esta variable $ c obtengo el resultado (para el usuario AAA)

"red,black,blue,red,green,red,black,blue,red,green,"

Quiero eliminar el color duplicado. Entonces la salida deseada debería ser como

"red,black,blue,green"

Para esta salida deseada, utilicé el código anterior

 echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

pero muestra la salida con valores duplicados.

"rojo, negro, azul, rojo, verde, rojo, negro, azul, rojo, verde" Gracias

Un awk más, solo por diversión:

$ a="aaa bbb aaa bbb ccc aaa ddd bbb ccc"
$ echo "$a" | awk '{for (i=1;i<=NF;i++) if (!a[$i]++) printf("%s%s",$i,FS)}{printf("\n")}'
aaa bbb ccc ddd 

Por cierto, incluso su solución funciona bien con variables:

$ b="zebra ant spider spider ant zebra ant" 
$ echo "$b" | xargs -n1 | sort -u | xargs
ant spider zebra

Con tr, sortyuniq

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq

o

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq | xargs 

para obtener una línea

$ echo "zebra ant spider spider ant zebra ant"  | awk -v RS="[ \n]+" '!n[$0]++' 
zebra
ant
spider

Con gnu sed:

sed ':s;s/\(\<\S*\>\)\(.*\)\<\1\>/\1\2/g;ts'

Puede agregar ;s/ */ /gpara eliminar espacios duplicados.

Funciones como esta: si una palabra es la segunda vez en esta línea, elimínela y comience de nuevo hasta que ya no se encuentre la duplicación.

perl -lane '$,=$";print grep { ! $h{$_}++ } @F'

Solución awk obligatoria:

$ echo "ant zebra ant spider spider ant zebra ant" | 
   awk -vRS=" " -vORS=" " '!a[$1] {a[$1]++} END{ for (x in a) print x;  } ' ; echo
zebra ant spider 

(La final echoestá ahí para la nueva línea)

Pitón

Opción 1

#!/usr/bin/env python
# get_unique_words.py

import sys

l = []
for w in sys.argv[1].split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)

Haga ejecutable, luego llame desde Bash:

$ ./get_unique_words.py "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"
aaa,bbb,ccc

O podría implementarlo como una función Bash, pero la sintaxis es desordenada.

get_unique_words(){
  python -c "
l = []
for w in '$1'.split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)"
}

opcion 2

Esta opción puede convertirse en una línea si es necesario:

#!/usr/bin/env python
# get_unique_words.py

import sys

s_in = sys.argv[1]
l_in = s_in.split(',') # Turn string into a list.
set_out = set(l_in) # Turning a list into a set removes duplicates items.
s_out = ','.join(set_out) 
print s_out

En Bash:

get_unique_words(){
  python -c "print ','.join(set('$1'.split(',')))"
}

cat filename | awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }' > newfile

Usando los datos tabulares originales en el archivo llamado file:

sed '1d' file | sort -u |
awk '{ color[$1] = ( color[$1] == "" ? $3 : color[$1] "," $3 ) }
     END { for (user in color) print user, color[user] }'

Esto genera

CCC red
BBB blue,red
AAA black,blue,green,red

Los tres pasos de la tubería:

1. El sedcomando elimina la primera línea, que es un encabezado que no queremos leer.

2. El sortcomando nos da líneas únicas. Los datos de muestra después del sortaspecto

   AAA         | black
   AAA         | blue
   AAA         | green
   AAA         | red
   BBB         | blue
   BBB         | red
   CCC         | red

3. El awkcomando toma estos datos y produce una cadena delimitada por comas para cada usuario en la matriz color(donde el nombre de usuario es la clave de la matriz). Al final (en el ENDbloque), se envían todos los datos recopilados.

a="aaa aaa aaa bbb bbb ccc bbb ccc"
for item in $a
do
   echo $item
done | sort -u | (while read i; do ans="$ans $i"; done ; echo $ans)