Preguntas etiquetadas con large-files

Decir que tengo un archivo de texto grande (> 2 GB) y sólo quiero que catlas líneas Xa Y(por ejemplo, 57.89 millón a 57,890,010). Por lo que entiendo, puedo hacer esto headentrando tailo viceversa, es decir head -A /path/to/file | tail -B o alternativamente tail -C /path/to/file | head -D …

132 tail  cat  large-files  head 

Tengo un archivo de texto enorme (70 GB), una línea y quiero reemplazar una cadena (token). Quiero reemplazar el token <unk>, con otro token ficticio ( problema de guantes ). Lo intenté sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new ¡pero el archivo de salida corpus.txt.newtiene cero bytes! También intenté usar …

126 text-processing  sed  large-files 

Un enorme archivo de texto (hasta 2 GiB) contiene aproximadamente 100 duplicados exactos de cada línea (inútil en mi caso, ya que el archivo es una tabla de datos similar a CSV). Lo que necesito es eliminar todas las repeticiones mientras (preferiblemente, pero esto se puede sacrificar por un aumento …

126 files  text-processing  large-files 

Tengo un archivo bastante grande (35 Gb), y me gustaría filtrar este archivo in situ (es decir, no tengo suficiente espacio en disco para otro archivo), específicamente quiero grep e ignorar algunos patrones, ¿hay alguna manera de hacer esto sin usar otro archivo? Digamos que quiero filtrar todas las líneas …

54 text-processing  grep  large-files 

Tengo dos archivos grandes (6 GB cada uno). No están clasificados, con avances de línea ( \n) como separadores. ¿Cómo puedo diferenciarlos? Debería tomar menos de 24h.

32 performance  diff  large-files 

Lo probé con SCP, pero dice "Tamaño de archivo negativo". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size También intenté usar SFTP, funcionó bien hasta que se transfirieron 2 GB del archivo, luego se detuvo: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 …

27 scp  sftp  large-files 

Tengo un archivo de texto de 25 GB que necesita reemplazar una cadena en solo unas pocas líneas. Puedo usarlo con sedéxito, pero lleva mucho tiempo ejecutarlo. sed -i 's|old text|new text|g' gigantic_file.sql ¿Hay una manera más rápida de hacer esto?

25 sed  replace  large-files 

Tengo una ext4partición de 900 GB en un disco duro (magnético) que no tiene defectos ni sectores defectuosos. La partición está completamente vacía, excepto por un lost+founddirectorio vacío . La partición se formateó utilizando los parámetros predeterminados, excepto que configuré el número de bloques de sistema de archivos reservados en …

19 filesystems  ext4  large-files 

Tengo un directorio con aproximadamente 100000 archivos pequeños (cada archivo es de 1-3 líneas, cada archivo es un archivo de texto). En tamaño, el directorio no es muy grande (<2GB). Estos datos viven en un servidor NFS administrado profesionalmente. El servidor ejecuta Linux. Creo que el sistema de archivos es …

19 filesystems  large-files 

Tengo algunos archivos de tamaño> 1 GB cada uno. Necesito eliminar los últimos bytes de los archivos. ¿Cómo puedo hacerlo? Prefiero editar el archivo en su lugar para ahorrar espacio en disco. Estoy en HP-UX.

18 files  editors  hp-ux  large-files 

¿Es útil usar el indicador -T largefile para crear un sistema de archivos para una partición con archivos grandes como video y audio en formato flac? Probé la misma partición con esa bandera y sin ella, y usando tune2fs -l [partición] , verifiqué en "Características del sistema de archivos" que …

17 filesystems  ext4  ext3  large-files  ext2 

En el mismo espíritu que esta otra pregunta: línea de gato X a línea Y en un archivo enorme : ¿Hay alguna manera de abrir desde Emacs (y mostrar en un búfer) un conjunto dado de líneas (por ejemplo, todas las líneas entre la línea Xy Y) desde un archivo …

10 emacs  large-files 

Tengo un archivo de texto de 250 MB, todo en una línea. En este archivo quiero reemplazar acaracteres con bcaracteres: sed -e "s/a/b/g" < one-line-250-mb.txt Falla con: sed: couldn't re-allocate memory Me parece que este tipo de tarea podría realizarse en línea sin asignar mucha memoria. ¿Existe una mejor herramienta …

10 text-processing  sed  performance  large-files  out-of-memory 

Tengo ~ 30k archivos. Cada archivo contiene ~ 100k líneas. Una línea no contiene espacios. Las líneas dentro de un archivo individual se ordenan y no se duplican. Mi objetivo: quiero encontrar todas las líneas duplicadas en dos o más archivos y también los nombres de los archivos que contienen …

9 shell-script  text-processing  performance  large-files  deduplication 

Necesito ver una imagen PNG grande (50000x40000 px) en Linux. Desafortunadamente, la mayoría de las herramientas (eog, convert, etc.) se bloquean o fallan con una nota sobre muy poca memoria. ¿Hay alguna manera de ver esta imagen (preferiría ver tanto la imagen redimensionada como los detalles)?

9 images  large-files