Error de "Lista de argumentos demasiado larga" al copiar una gran cantidad de archivos

Estoy usando el siguiente comando:

\cp -uf /home/ftpuser1/public_html/ftparea/*.jpg /home/ftpuser2/public_html/ftparea/

Y recibo el error:

-bash: /bin/cp: Argument list too long

También he intentado:

ls /home/ftpuser1/public_html/ftparea/*.jpg | xargs -I {} cp -uf {} /home/ftpuser2/public_html/ftparea/

Todavía tengo -bash: / bin / ls: la lista de argumentos es demasiado larga

¿Algunas ideas?

* .jpg se expande a una lista más larga de lo que el shell puede manejar. Intenta esto en su lugar

find  /home/ftpuser/public_html/ftparea/ -name "*.jpg" -exec cp -uf "{}" /your/destination \;

Existe un límite máximo para la duración de una lista de argumentos para los comandos del sistema: este límite es específico de la distribución según el valor de MAX_ARG_PAGEScuándo se compila el núcleo, y no se puede cambiar sin volver a compilar el núcleo.

Debido a la forma en que el shell maneja el globbing, esto afectará a la mayoría de los comandos del sistema cuando use el mismo argumento ("* .jpg"). Dado que el shell primero procesa el glob y luego lo envía al comando, el comando:

cp -uf *.jpg /targetdir/

es esencialmente lo mismo para el shell como si escribieras:

cp -uf 1.jpg 2.jpg ... n-1.jpg n.jpg /targetdir/

Si está lidiando con muchos archivos JPEG, esto puede volverse inmanejable muy rápido. Dependiendo de su convención de nomenclatura y la cantidad de archivos que realmente tiene que procesar, puede ejecutar el comando cp en un subconjunto diferente del directorio a la vez:

cp -uf /sourcedir/[a-m]*.jpg /targetdir/
cp -uf /sourcedir/[n-z]*.jpg /targetdir/

Esto podría funcionar, pero exactamente qué tan efectivo sería se basa en qué tan bien puede dividir su lista de archivos en convenientes bloques globbables.

Globbable Me gusta esa palabra

Algunos comandos, como find y xargs , pueden manejar grandes listas de archivos sin hacer listas de argumentos de gran tamaño.

find /sourcedir/ -name '*.jpg' -exec cp -uf {} /targetdir/ \;

El argumento -exec ejecutará el resto de la línea de comando una vez para cada archivo encontrado por find , reemplazando el {} con cada nombre de archivo encontrado. Dado que el comando cp solo se ejecuta en un archivo a la vez, el límite de la lista de argumentos no es un problema.

Esto puede ser lento debido a que tiene que procesar cada archivo individualmente. Usar xargs podría proporcionar una solución más eficiente:

find /sourcedir/ -name '*.jpg' -print0 | xargs -0 cp -uf -t /destdir/

xargs puede tomar la lista completa de archivos provista por find y dividirla en listas de argumentos de tamaños manejables y ejecutar cp en cada una de esas sublistas.

Por supuesto, también existe la posibilidad de recompilar su kernel, estableciendo un valor mayor para MAX_ARG_PAGES. Pero recompilar un kernel es más trabajo del que estoy dispuesto a explicar en esta respuesta.

Eso sucede porque su expresión comodín ( *.jpg) excede el límite de longitud del argumento de la línea de comando cuando se expande (probablemente porque tiene muchos archivos .jpg debajo /home/ftpuser/public_html/ftparea).

Hay varias formas de sortear esa limitación, como usar findo xargs. Eche un vistazo a este artículo para obtener más detalles sobre cómo hacerlo.

Como comentó GoldPseudo, hay un límite en la cantidad de argumentos que puede pasar a un proceso que está generando. Vea su respuesta para una buena descripción de ese parámetro.

Puede evitar el problema al no pasar demasiados argumentos al proceso o al reducir el número de argumentos que pasa.

Un bucle for en el shell, find, y ls, grep y un bucle while hacen lo mismo en esta situación:

for file in /path/to/directory/*.jpg ; 
do
  rm "$file"
done

y

find /path/to/directory/ -name '*.jpg' -exec rm  {} \;

y

ls /path/to/directory/ | 
  grep "\.jpg$" | 
  while
    read file
  do
    rm "$file"
  done

todos tienen un programa que lee el directorio (el propio shell, find y ls) y un programa diferente que realmente toma un argumento por ejecución e itera a través de la lista completa de comandos.

Ahora, esto será lento porque la rm debe bifurcarse y ejecutarse para cada archivo que coincida con el patrón * .jpg.

Aquí es donde entra en juego xargs. xargs toma la entrada estándar y por cada N (para freebsd es por defecto 5000) líneas, genera un programa con N argumentos. xargs es una optimización de los bucles anteriores porque solo necesita bifurcar programas 1 / N para iterar sobre todo el conjunto de archivos que leen argumentos desde la línea de comandos.

Hay un número máximo de argumentos que se pueden especificar a un programa, bash expande * .jpg a muchos argumentos para cp. Puede resolverlo utilizando find, xargs o rsync, etc.

Echa un vistazo aquí sobre xargs y encuentra

/programming/143171/how-can-i-use-xargs-to-copy-files-that-have-spaces-and-quotes-in-their-names

El globo '*' se está expandiendo a demasiados nombres de archivo. Use find / home / ftpuser / public_html -name '* .jpg' en su lugar.

Usar la +opción para find -execacelerará enormemente la operación.

find  /home/ftpuser/public_html/ftparea/ -name "*jpg" -exec cp -uf -t /your/destination "{}" +

La +opción requiere {}ser el último argumento, por lo que usar la opción -t /your/destination(o --target-directory=/your/destination) para cpque funcione.

De man find:

-exec comando {} +

          This  variant  of the -exec action runs the specified command on  
          the selected files, but the command line is built  by  appending  
          each  selected file name at the end; the total number of invoca‐  
          tions of the command will  be  much  less  than  the  number  of  
          matched  files.   The command line is built in much the same way  
          that xargs builds its command lines.  Only one instance of  ‘{}’  
          is  allowed  within the command.  The command is executed in the  
          starting directory.

Editar : argumentos reorganizados para cp

Parece que tiene demasiados *.jpgarchivos en ese directorio para ponerlos a todos en la línea de comando a la vez. Tu podrías intentar:

find /home/ftpuser/public_html/ftparea1 -name '*.jpg' | xargs -I {} cp -uf {} /home/ftpuser/public_html/ftparea2/

Es posible que deba verificar man xargssu implementación para ver si el -Iconmutador es correcto para su sistema.

En realidad, ¿realmente tiene la intención de copiar esos archivos en la misma ubicación donde ya están?

Ir a la carpeta

cd /home/ftpuser1/public_html/

y ejecuta lo siguiente:

cp -R ftparea/ /home/ftpuser2/public_html/

De esta manera, si la carpeta 'ftparea' tiene subcarpetas, esto podría ser un efecto negativo si solo desea los archivos '* .jpg', pero si no hay ninguna subcarpeta, este enfoque será definitivamente mucho más rápido que usando find y xargs