Preguntas etiquetadas con text-processing

Tengo un archivo de texto en una codificación desconocida o mixta. Quiero ver las líneas que contienen una secuencia de bytes que no es válida UTF-8 (canalizando el archivo de texto en algún programa). De manera equivalente, quiero filtrar las líneas que son válidas para UTF-8. En otras palabras, estoy …

50 command-line  text-processing  character-encoding  unicode 

Necesito ejecutar periódicamente un comando que garantice que algunos archivos de texto se mantengan en modo Linux. Desafortunadamente, dos2unixsiempre modifica el archivo, lo que ensuciaría las marcas de tiempo del archivo y la carpeta y causaría escrituras innecesarias. El guión que escribo está en Bash, por lo que preferiría respuestas …

48 bash  text-processing  newlines 

El archivo de entrada1 es: dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 Le doy al partido el patrón desde adentro other file(como dog 123 4335desde file2). Coincido con el patrón de la línea dog 123 4335y después de imprimir todas las líneas sin una línea …

48 text-processing  sed  grep 

Trabajo con archivos CSV y, a veces, necesito verificar rápidamente el contenido de una fila o columna desde la línea de comandos. En muchos casos cut, head, tail, y amigos harán el trabajo; sin embargo, cortar no puede lidiar fácilmente con situaciones como "this, is the first entry", this is …

47 command-line  software-rec  text-processing  csv 

Tengo varios .htmarchivos que se abren en Gedit sin ninguna advertencia / error, pero cuando abro estos mismos archivos Jedit, me advierte de una codificación UTF-8 no válida ... La metaetiqueta HTML dice "charset = ISO-8859-1". Jedit permite una Lista de codificaciones de reserva y una Lista de detectores automáticos …

46 text-processing  utilities  character-encoding 

Quiero convertir .txtarchivos a .pdf. Estoy usando esto: ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done Pero esto produce un "error": si hay una línea muy larga en el archivo de texto, no se ajusta. Texto de entrada PDF de salida - …

45 text-processing  pdf  imagemagick  conversion 

Utilizo sed para eliminar rápidamente líneas con una posición específica como sed '1d' sed '5d' Pero, ¿qué pasa si quiero eliminar la última línea del archivo y no sé el recuento de líneas (sé que puedo obtener eso usando wcy varios otros trucos). Actualmente, utilizando una solución alternativa heady tailcombinada …

44 text-processing  sed 

¿Hay una manera fácil de sustituir / evaluar variables de entorno en un archivo? Como digamos que tengo un archivo config.xmlque contiene: <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ... etc. Quiero reemplazar $INSTANCE_IDen el archivo con el valor de la INSTANCE_IDvariable de entorno, $SERVICE_NAMEcon el valor de la …

41 shell-script  text-processing  scripting  environment-variables 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ El resultado que necesito es mostrar todas las líneas del archivo original eliminando todos los duplicados (no solo los consecutivos), manteniendo …

40 text-processing  uniq 

A veces, obtengo como una lista separada por pestañas de entrada, que no está completamente alineada, por ejemplo var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 ¿Hay una manera fácil de alinearlos? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line  text-processing  csv  tabulation 

En shell, ¿cómo puedo leer los bytes de un archivo binario que tengo e imprimir la salida como números hexadecimales?

39 shell  text-processing  binary 

Tengo un archivo con aproximadamente 30.000.000 de líneas (contabilidad de radio) y necesito encontrar la última coincidencia de un patrón dado. El comando: tac accounting.log | grep $pattern da lo que necesito, pero es demasiado lento porque el sistema operativo primero tiene que leer todo el archivo y luego enviarlo …

39 text-processing  files  grep  tail 

¿Cómo puedo reemplazar todas las líneas nuevas con espacio excepto la última línea nueva? Puedo reemplazar toda la nueva línea al espacio usando, trpero ¿cómo puedo hacerlo con algunas excepciones?

38 bash  shell-script  text-processing  tr 

¿Hay alguna manera de comentar / descomentar un script shell / config / ruby ​​usando la línea de comando? por ejemplo: $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf esto agregaría o eliminaría el #inicio de sesión bla.confen línea 14para 18. Normalmente lo uso sed, pero debo conocer el contenido …

37 shell-script  text-processing 

Estoy tratando de eliminar algunos caracteres del archivo (UTF-8). Estoy usando trpara este propósito: tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat El archivo contiene algunos caracteres extranjeros (como "Латвийская" o "àé"). trno parece entenderlos: los trata como no alfa y también los elimina. Intenté cambiar algunas de mis configuraciones locales: LC_CTYPE=C …

36 linux  text-processing  unicode  tr