¿Cómo copiar 700K .jpgs de Linux a Windows?

Tengo 700K + archivos .jpg en mi servidor Linux en una estructura de dos niveles, con más de 6000 directorios en el nivel 1 y los archivos .jpg individuales distribuidos entre esos directorios en el nivel 2. Estos archivos ocupan 16GB de acuerdo con du -ch | grep total. Hay 3.5GB de espacio libre en el disco.

Estoy buscando una manera sensata de copiar estos archivos en una máquina con Windows y actualizar la copia de Windows a intervalos regulares con nuevos archivos del servidor Linux.

Probé FileZilla, pero solo administró ~ 100K archivos en una hora, con el promedio de carga en el servidor Linux alrededor de 2. Eso es demasiado lento y requiere demasiados recursos. Con 10 conexiones, FileZilla solo administró ~ 150 KB / s en una línea de 100 Mbps.

Espero que sea posible utilizar tardirectorios individuales de alguna manera para obtener "fragmentos más grandes" sin llenar el disco del servidor ...

Puedo pensar en dos formas de hacer esto que deberían funcionar para usted:

Solución manual

Utilice rsync sobre el intercambio de archivos SMB. Comparta una carpeta desde su máquina Windows y luego móntela bajo Linux usando SMBfs . Luego puede usar rsync para transferir archivos a través de:

rsync -av /path/to/source/directory /path/to/mounted/destination/folder

Lo mejor de rsync es que si se interrumpe la transferencia de archivos, puede ejecutar el comando rsync nuevamente y omitirá rápidamente cualquier archivo que ya haya sido transferido.

Solución automática

Use BitTorrent Sync . Instale BitTorrent Sync en sus máquinas Windows y Linux. Luego puede agregar su carpeta de imágenes en la máquina Linux y compartirla con su máquina Windows copiando la clave de la carpeta. BitTorrent Sync asegurará automáticamente que las dos ubicaciones se mantengan sincronizadas.