¿Hay un Windows equivalente al Unix uniq?

17

Necesito eliminar líneas duplicadas de un archivo de texto, es simple en Linux usando

cat file.txt |sort | uniq

cuando file.txt contiene

aaa
bbb
aaa
ccc

Saldrá

aaa
bbb
ccc

¿Hay un equivalente de Windows? o cómo hacer esto de una manera Windows?

windows sorting uniq

— Yu Jiaao
fuente

10

En Unix, puedes escribirlo comosort -u file.txt

— jfs

1

También hay WSL que funciona bastante bien en lo que respecta a este tipo de cosas

— usuario2813274

¿Quizás desee establecer algo como solución, si no tiene más preguntas?

— davidbaumann

31

El Sort-Objectcmdlet en PowerShell admite un -Uniqueconmutador que hace lo mismo que uniq:

Get-Content file.txt | Sort-Object -unique

Por supuesto, debido a la presencia de alias en PowerShell, también puede escribir:

type file.txt | sort -unique

Además, hay un /uniqueinterruptor no documentado en sort.exeWindows 10, por lo que esto debería funcionar en el símbolo del sistema:

type file.txt | sort /unique

— Yu Jiaao
fuente

1

No creo que el comando de Windows ( sort.exe) sea compatible con esto; parece una característica de la construcción incorporada de PowerShell.

— Ben Voigt

1

escriba unsorted.txt | sort -unique> sorted.txt Esto realmente funciona bajo win10 y escribió valores únicos para el nuevo archivo

— Lixas

77

@BenVoigt sorprendentemente, type file.txt | sort /uniquefunciona con indocumentado interruptor /uniquede sort.exeutilidad (por lo menos en Windows 10). Por otro lado, tiene razón en que el ejemplo proporcionado es PowerShell Get-Content file.txt | Sort-Object -unique, de hecho.

— JosefZ

1

sort /uniqueerrores con Invalid switch.en Windows 7 Enterprise.

— Don Cruickshank el

1

@JosefZ, la respuesta especifica el cambio usando "/" (barra diagonal) y no guión; la barra diagonal es el estándar de Windows para los comandos en CMD, y no todos los comandos permiten sustituir una barra por una barra en los interruptores de comando. docs.microsoft.com/en-us/windows-server/administration/… para una referencia rápida muestra barras inclinadas consistentemente. Lo anterior fue una gran respuesta, compartir un tidbit no conocido comúnmente, aunque no puedo imaginar por qué el interruptor "/ unique" no está documentado, ya que es muy útil.

— Debra

6

Hay puertos de uniq que funcionan de manera idéntica a las versiones gnu / coreutils. Personalmente uso la variación de GOW, pero git para Windows tiene una versión significativamente más nueva . No se requiere cygwin, pero para esto último debe buscar en / usr / bin

Dado que estos paquetes también contienen cat, sort y uniq, su flujo de trabajo debería ser en su mayoría idéntico, y cat file.txt |sort | uniqdebería funcionar de manera idéntica

— Journeyman Geek
fuente

2

Puede escribir fácilmente el comando "uniq" usted mismo. Guarde esto en un archivo por lotes "uniq.cmd" en algún lugar de su% path% puede encontrarlo (por ejemplo, en% windir% \ system32). Esta versión NO distingue entre mayúsculas y minúsculas:

@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort %*') do (
    rem "set" needs to be done without delayed expansion
    set "line=%%F"
    setlocal EnableDelayedExpansion
        set "line=!line:<=<!"
        if /i "!prev!" neq "!line!" echo(!line!
        set "prev=!line!"
    endlocal
)

Esto funciona con "uniq mytextfile" y "cat mytextfile | uniq"; ya que todas las entradas y argumentos simplemente se pasan al comando de clasificación.

A partir de Windows 7, es posible que desee una versión realmente sensible a mayúsculas y minúsculas (la diferencia es que el interruptor no documentado "sort / C" y no "if / i"):

@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort /C %*') do (
    rem "set" needs to be done without delayed expansion
    set "line=%%F"
    setlocal EnableDelayedExpansion
        set "line=!line:<=<!"
        if "!prev!" neq "!line!" echo(!line!
        set "prev=!line!"
    endlocal
)

— Tom Stein
fuente

Agradable, pero tiene algunos defectos. En la actualidad produce un error con el contenido como /?, ON, one ^ careto bang!. Pero eso se puede resolver mediante el uso de la técnica de alternancia de expansión retardada y echo(ver: Dostips: ECHO. FALLA en dar texto o línea en blanco

— jeb

Gracias, la razón para usar la técnica de expansión retardada de alternancia no había sido obvia ni marcada. Edité mis ejemplos para que sean (casi) perfectos ahora.

— Tom Stein

0

Además de la respuesta de Yu Jiaao. Puede invocar el sort-objectcmdlet powershell en un símbolo del sistema como:

type file.txt | powershell -nop "$input | sort -unique"

— snipsnipsnip
fuente