Preguntas etiquetadas con uniq

En todas partes veo a alguien que necesita obtener una lista ordenada y única, a la que siempre se dirigen sort | uniq. Nunca he visto ningún ejemplo en el que alguien use en su sort -ulugar. Por qué no? ¿Cuál es la diferencia, y por qué es mejor usar …

120 bash  sort  uniq 

Realmente disfruto usando control+rpara buscar recursivamente mi historial de comandos. He encontrado algunas buenas opciones que me gusta usar con él: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead of overwriting (good …

61 bash  command-line  command-history  sort  uniq 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ El resultado que necesito es mostrar todas las líneas del archivo original eliminando todos los duplicados (no solo los consecutivos), manteniendo …

40 text-processing  uniq 

Esta línea única elimina las líneas duplicadas de la entrada de texto sin ordenarlas previamente. Por ejemplo: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ El código original que he encontrado en Internet dice: awk '!_[$0]++' Esto fue aún más desconcertante …

40 shell-script  awk  scripting  sort  uniq 

Aquí hay comandos en un archivo aleatorio de pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u …

35 uniq 

¿Hay alguna manera de encontrar todos los archivos en un directorio con nombres de archivo duplicados, independientemente de la carcasa (mayúsculas y / o minúsculas)?

17 find  uniq  case-sensitivity  duplicate-files 

Encontré este caso de uso hoy. Parece simple a primera vista, pero perder el tiempo con sort, uniq, sedy awkreveló que es no trivial. ¿Cómo puedo eliminar todos los pares de líneas duplicadas? En otras palabras, si hay un número par de duplicados de una línea dada, elimínelos todos; Si …

16 text-processing  sed  uniq 

Mi pregunta es similar a esta pregunta pero con un par de restricciones diferentes: Tengo una gran \nlista de palabras delimitadas: una palabra por línea. El tamaño de los archivos varía de 2 GB a 10 GB. Necesito eliminar cualquier línea duplicada. El proceso puede ordenar la lista durante el …

16 linux  text-processing  uniq 

Tengo un código antiguo de 2003 que usa la -topción de uniqcomando. Lanza un error ya que esa opción probablemente ya no sea compatible. Aquí está la pieza que usa el comando: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t …

15 uniq 

Tengo un archivo grande en el siguiente formato: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Si los valores en la columna 2 coinciden, quiero sumar …

11 text-processing  awk  sort  uniq 

Tengo un archivo con una columna con nombres que se repiten varias veces cada uno. Quiero condensar cada repetición en una, mientras mantengo cualquier otra repetición del mismo nombre que no sea adyacente a otras repeticiones del mismo nombre. Por ejemplo, quiero girar el lado izquierdo hacia el lado derecho: …

11 awk  sed  sort  uniq 

¿Qué está pasando en el siguiente fragmento de código? No estoy obteniendo mi salida esperada. Creo que fue un error, pero ocurre para 2 programas diferentes (uniq y sort), por lo que sospecho que tiene algo que ver con ... bueno, no sé qué ... de ahí la pregunta. Los …

10 text-processing  sort  locale  unicode  uniq 

Estoy intentando un ingenuo: $ cat * | sort -u > /tmp/bla.txt que falla con: -bash: /bin/cat: Argument list too long Entonces, para evitar una solución tonta como (crea un enorme archivo temporal): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u …

8 shell  sort  uniq 

Si tengo una cadena "1 2 3 2 1", o una matriz [1,2,3,2,1], ¿cómo puedo seleccionar los valores únicos? "1 2 3 2 1" produces "1 2 3" o [1,2,3,2,1] produces [1,2,3] Similar a uniq pero uniq parece funcionar en líneas enteras, no en patrones dentro de una línea ...

8 string  array  uniq  patterns 

Tengo un archivo de texto grande (1.5 G), Quiero saber cuál es la herramienta más rápida y confiable en Linux. Usualmente uso: awk '!x[$0]++' file.txt Pero cuando uso el htopcomando veo que mi uso de memoria está aumentando. Quiero saber cuál es el más rápido y confiable para archivos de …

8 sed  awk  memory  sort  uniq