¿Cuál es la forma más rápida y confiable de transferir muchos archivos?

Estoy tratando de transferir aproximadamente 100k archivos con un total de 90gb. En este momento estoy usando rsync daemon pero es lento 3.4mb / sy necesito hacerlo varias veces. Me pregunto qué opciones tengo que maximicen una conexión de 100mbit a través de Internet y sean muy confiables.

¿Has considerado Sneakernet ? Con grandes conjuntos de datos, el envío nocturno a menudo será más rápido y más barato que la transferencia a través de Internet.

¿Cómo? O TL; DR

El método más rápido que he encontrado es una combinación de tar, mbuffery ssh.

P.ej:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

Con esto, he logrado transferencias de red locales sostenidas de más de 950 Mb / s en enlaces de 1 Gb. Reemplace las rutas en cada comando tar para que sean apropiadas para lo que está transfiriendo.

¿Por qué? mbuffer!

El mayor cuello de botella en la transferencia de archivos grandes a través de una red es, con mucho, la E / S de disco. La respuesta a eso es mbuffero buffer. Son en gran medida similares pero mbuffertiene algunas ventajas. El tamaño predeterminado del búfer es de 2 MB para mbuffery 1 MB para buffer. Es más probable que los tampones más grandes nunca estén vacíos. Elegir un tamaño de bloque que sea el múltiplo común más bajo del tamaño de bloque nativo tanto en el sistema de archivos de destino como en el de destino dará el mejor rendimiento.

Buffering es lo que hace que todo la diferencia! ¡Úselo si lo tiene! Si no lo tienes, ¡consíguelo! Usar (m}?buffermás cualquier cosa es mejor que cualquier cosa por sí mismo. Es casi literalmente una panacea para las transferencias lentas de archivos de red.

Si está transfiriendo varios archivos, úselos tarpara agruparlos en una sola secuencia de datos. Si es un archivo único que puede usar cato redirección de E / S. La sobrecarga de tarvs. cates estadísticamente insignificante, por lo que siempre uso tar(o zfs -senddonde puedo) a menos que ya sea un tarball . Ninguno de estos está garantizado para darle metadatos (y en particular catno lo hará). Si desea metadatos, lo dejaré como un ejercicio para usted.

Finalmente, el uso sshde un mecanismo de transporte es seguro y lleva muy poca sobrecarga. Nuevamente, la sobrecarga de sshvs. nces estadísticamente insignificante.

Mencionas "rsync", así que supongo que estás usando Linux:

¿Por qué no creas un archivo tar o tar.gz? El tiempo de transferencia de red de un archivo grande es más rápido que muchos archivos pequeños. Incluso podrías comprimirlo si lo deseas ...

Alquitrán sin compresión:

En el servidor de origen:

tar -cf file.tar /path/to/files/

Luego en el extremo receptor:

cd /path/to/files/
tar -xf /path/to/file.tar

Alquitrán con compresión:

En el servidor de origen:

tar -czf file.tar.gz /path/to/files/

Luego en el extremo receptor:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

Simplemente usaría rsync para realizar la transferencia real de los archivos (tar | tar.gz).

Puede probar con el tary sshtruco se describe aquí :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

Esto debería ser regrabable a lo siguiente :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

Sin embargo, perderías las --partialcaracterísticas de rsyncen el proceso. Si los archivos no cambian con mucha frecuencia, vivir con una inicial lenta rsyncpodría valer mucho la pena, ya que irá mucho más rápido en el futuro.

Puede usar varias opciones de compresión de rsync.

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

la relación de compresión para archivos binarios es muy baja, por lo que puede omitir esos archivos usando --skip-compress, por ejemplo, iso, tarballs ya archivados y comprimidos, etc.

Soy un gran admirador de SFTP. Uso SFTP para transferir medios de mi computadora principal a mi servidor. Tengo buenas velocidades, a través de LAN.

SFTP es confiable, le daría una oportunidad, ya que es fácil de configurar y podría ser más rápido en algunos casos.