Tengo un script ksh que devuelve una larga lista de valores, separados por una nueva línea, y quiero ver solo los valores únicos / distintos. ¿Es posible hacer esto?
Por ejemplo, supongamos que mi salida son sufijos de archivo en un directorio:
tar gz java gz java tar class class
Quiero ver una lista como:
tar gz java class
Respuestas:
Es posible que desee ver las aplicaciones uniqy sort.
./yourscript.ksh | ordenar | uniq
(Para su información, sí, el orden es necesario en esta línea de comando, uniqsolo elimina las líneas duplicadas que están inmediatamente una detrás de la otra)
EDITAR:
Contrariamente a lo publicado por Aaron Digulla en relación con uniqlas opciones de la línea de comandos:
Dada la siguiente entrada:
clase tarro tarro tarro compartimiento compartimiento Java
uniq generará todas las líneas exactamente una vez:
clase tarro compartimiento Java
uniq -d mostrará todas las líneas que aparecen más de una vez y las imprimirá una vez:
tarro compartimiento
uniq -u generará todas las líneas que aparecen exactamente una vez, y las imprimirá una vez:
clase Java
sortpresenta una -uversión para dar valores únicos también.
uniqcosturas solo procesan líneas adyacentes (al menos por defecto), lo que significa que se puede sortingresar antes de alimentar uniq.
./script.sh | sort -uEsto es lo mismo que la respuesta de monóxido , pero un poco más conciso.
... | sort | uniqporque se realiza de una sola vez
Para conjuntos de datos más grandes donde la ordenación puede no ser deseable, también puede usar el siguiente script perl:
./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'Básicamente, esto solo recuerda cada salida de línea para que no vuelva a salir.
Tiene la ventaja sobre la " sort | uniq" solución en que no se requiere clasificación por adelantado.
Con zsh puedes hacer esto:
% cat infile
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
classO puedes usar AWK:
% awk '!_[$0]++' infile
tar
more than one word
gz
java
classawksolución muy inteligente pero críptica (consulte stackoverflow.com/a/21200722/45375 para obtener una explicación) funcionará con archivos grandes siempre que el número de líneas únicas sea lo suficientemente pequeño (ya que las líneas únicas se mantienen en la memoria ) La zshsolución lee primero todo el archivo en la memoria, lo que puede no ser una opción con archivos grandes. Además, como está escrito, solo las líneas sin espacios incrustados se manejan correctamente; para arreglar esto, use IFS=$'\n' read -d '' -r -A u <file; print -l ${(u)u}en su lugar.
(IFS=$'\n' u=($(<infile)); print -l "${(u)u[@]}")
[@]sufijo para hacer referencia a todos los elementos de una matriz, parece que, al menos a partir de la versión 5, funciona sin él; o simplemente lo agregaste para mayor claridad?
print -l "${(fu)$(<infile)}"
awksalida de muestra.
Conducirlos a través de sorty uniq. Esto elimina todos los duplicados.
uniq -dda solo los duplicados, uniq -uda solo los únicos (tiras duplicadas).
uniq -uNO es el comportamiento predeterminado (ver la edición en mi respuesta para más detalles)
Con AWK puedes hacerlo, lo encuentro más rápido que ordenar
./yourscript.ksh | awk '!a[$0]++'Único, según lo solicitado, (pero no ordenado);
utiliza menos recursos del sistema para menos de ~ 70 elementos (según lo probado con el tiempo);
escrito para recibir información de stdin,
(o modificar e incluir en otro script):
(Bash)
bag2set () {
# Reduce a_bag to a_set.
local -i i j n=${#a_bag[@]}
for ((i=0; i < n; i++)); do
if [[ -n ${a_bag[i]} ]]; then
a_set[i]=${a_bag[i]}
a_bag[i]=$'\0'
for ((j=i+1; j < n; j++)); do
[[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
done
fi
done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
a_bag[i]=$e
i=$i+1
done
bag2set
echo "${a_set[@]}"Recibo mejores consejos para obtener entradas no duplicadas en un archivo
awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u