Preguntas etiquetadas con text-processing

Tengo un ejemplo de archivo / etc / passwd como este: tom:x:1000:1000:Work:/home/tom:/bin/bash george:x:1000:1000:Work:/home/george:/bin/bash bla:x:1000:1000:Work:/home/bla:/bin/bash boo:x:1000:1000:Work:/home/boo:/bin/bash bee:x:1000:1000:Work:/root/list:/bin/bash Estoy tratando de enumerar todos los usuarios con una carpeta de inicio /home/. escribí cat ~/Desktop/e.txt |awk -F ":" '{if ($6 ~/^/home/) print $1;}' donde e.txt es el texto que copié aquí. Entiendo que …

10 text-processing  awk  wildcards  passwd 

¿Hay una manera conveniente de identificar bloques de texto duplicados o casi duplicados dentro de un archivo? Quiero usar esto para identificar la duplicación de código. Parece que hay programas especializados con esta capacidad, pero no estoy buscando involucrarme. Espero que haya una herramienta similar a diff que pueda hacer …

10 text-processing  diff  vimdiff 

¿Cómo crear un nuevo archivo fusionando columnas selectivas de dos archivos separados usando awk? Sin estropear el orden de los elementos de AMBOS archivos. Ejemplo: el archivo 3 puede contener la columna 1,2,3 del archivo 1 y la columna 4 del archivo 2. File 1 A 23 8 T A …

10 text-processing  awk  columns 

Estoy buscando algo que se comporte como el de Perl chomp. Estoy buscando un comando que simplemente imprima su entrada, menos el último carácter si es una nueva línea: $ printf "one\ntwo\n" | COMMAND_IM_LOOKING_FOR ; echo " done" one two done $ printf "one\ntwo" | COMMAND_IM_LOOKING_FOR ; echo " done" …

10 bash  shell-script  text-processing  newlines 

Recibí un archivo .csv con la FF FElista de materiales: $ head -n1 dotan.csv | hd 00000000 ff fe 41 00 64 00 20 00 67 00 72 00 6f 00 75 00 |..A.d. .g.r.o.u.| Cuando lo uso awkpara analizarlo, obtengo un montón de bytes nulos, lo que sospecho se …

10 text-processing  character-encoding  unicode 

Tengo un archivo de texto de 250 MB, todo en una línea. En este archivo quiero reemplazar acaracteres con bcaracteres: sed -e "s/a/b/g" < one-line-250-mb.txt Falla con: sed: couldn't re-allocate memory Me parece que este tipo de tarea podría realizarse en línea sin asignar mucha memoria. ¿Existe una mejor herramienta …

10 text-processing  sed  performance  large-files  out-of-memory 

Tengo un archivo que contiene datos como este: report aaaaaaaa - .. -th bbbbbbbbb -to ccccccccc .. --. Pregunta: Quiero eliminar cualquier línea que no comience con las siguientes cadenas: report -th -to eso significa que el resultado deseado eliminará todos los puntos y hashes no deseados del medio y …

10 text-processing  sed  grep  awk 

¿Hay alguna forma conveniente de convertir la salida del comando "árbol" * nix al formato JSON? Editar: creo que no describí mi problema lo suficientemente bien. Mi objetivo es convertir algo como: . |-- dir1 | |-- dirA | | |-- dirAA | | `-- dirBB | `-- dirB `-- …

10 text-processing  tree  json 

Tengo tres tipos de datos que están en diferentes formatos; Para cada tipo de datos, hay un script de Python que lo transforma en un único formato unificado. Este script de Python es lento y está vinculado a la CPU (a un solo núcleo en una máquina multinúcleo), por lo …

10 text-processing  pipe  split  parallelism 

input.txt (alrededor de 30K líneas) RT|367079254|bn|ERTS01065811.1| 38 1 503 RT|367079251|bn|ERTS01065814.1| 56 3 502 RT|367079248|bn|ERTS01065817.1| 52 2 502 output.txt RT|367079254|bn|ERTS01065811.1| 38 1 503 RT|367079251|bn|ERTS01065814.1| 56 3 502 RT|367079248|bn|ERTS01065817.1| 52 2 502

10 text-processing 

Estoy tratando de ordenar dentro de una línea de entrada sobre un número desconocido de campos: Entrada: ab bc bc ab cd ef bc bc cd ef cd bc ab ef ab bc cd gh Salida: ab bc ab bc bc cd ef bc cd ef ab cb cd ab …

10 text-processing  awk  sort 

Estoy tratando de escribir un script de shell que pide un carácter ASCII en el rango AZ o az y devuelve su valor numérico equivalente. Por ejemplo, el resultado podría tener el siguiente aspecto: scarlet$ Please type a character between A and Z or between a and z: scarlet$ A …

10 text-processing  scripting  od 

Necesito crear el archivo /opt/nginx/conf.d/default.confcon este contenido a través de script de shell y crear el archivo si no existe: server { listen 80 default_server; listen [::]:80 default_server; server_name _; root /usr/share/nginx/html; } ¿Cómo escribo contenido multilínea a través de un script de shell? Creé el directorio sudo mkdir -p …

9 text-processing  files  nginx 

Este es un archivo parcial N W N N N N N N N N N N C N N N N N N N N N N A N N N N N N N N N N N N N N N N N N N N N …

9 text-processing  bioinformatics 

Tengo el siguiente archivo: AA,true AA,false BB,false CC,false BB,true DD,true Estoy tratando de buscar duplicados y eliminar la línea que tiene el valor de la columna igual true. como salida debería ser: AA,false BB,false CC,false DD,true

9 text-processing  awk  sed