Esto parece relacionado con este , pero es algo diferente.
Existe este enlace WAN entre dos sitios de la compañía, y necesitamos transferir un solo archivo muy grande (volcado de Oracle, ~ 160 GB).
Tenemos un ancho de banda completo de 100 Mbps (probado), pero parece que una sola conexión TCP no puede maximizarla debido a cómo funciona TCP (ACK, etc.). Probamos el enlace con iperf , y los resultados cambian drásticamente al aumentar el tamaño de la ventana TCP: con la configuración básica obtenemos un rendimiento de ~ 5 Mbps, con un WS más grande podemos obtener hasta ~ 45 Mbps, pero no más que eso. La latencia de la red es de alrededor de 10 ms.
Por curiosidad, ejecutamos iperf utilizando más de una conexión, y descubrimos que, al ejecutar cuatro de ellas, alcanzarían una velocidad de ~ 25 Mbps cada una, llenando todo el ancho de banda disponible; entonces la clave parece estar en ejecutar múltiples transferencias simultáneas.
Con FTP, las cosas empeoran: incluso con configuraciones TCP optimizadas (tamaño de ventana alto, MTU máximo, etc.) no podemos obtener más de 20 Mbps en una sola transferencia. Intentamos FTPing algunos archivos grandes al mismo tiempo, y de hecho las cosas mejoraron mucho más que al transferir uno solo; pero luego el culpable se convirtió en E / S de disco, porque leer y escribir cuatro archivos grandes de los mismos cuellos de botella del disco muy pronto; Además, parece que no podemos dividir ese único archivo grande en archivos más pequeños y luego fusionarlo de nuevo, al menos no en momentos aceptables (obviamente, no podemos pasar el empalme / fusión del archivo un tiempo comparable al de transfiriéndolo).
La solución ideal aquí sería una herramienta multiproceso que pudiera transferir varios fragmentos del archivo al mismo tiempo; Algo así como los programas peer-to-peer como eMule o BitTorrent ya lo hacen, pero desde una sola fuente a un solo destino. Idealmente, la herramienta nos permitiría elegir cuántas conexiones paralelas usar y, por supuesto, optimizar la E / S de disco para no saltar (también) locamente entre varias secciones del archivo.
¿Alguien sabe de tal herramienta?
O, ¿alguien puede sugerir una mejor solución y / o algo que ya no probamos?
PD: Ya pensamos en hacer una copia de seguridad en cinta / disco y enviarlo físicamente al destino; esa sería nuestra medida extrema si WAN simplemente no lo corta, pero, como dijo AS Tanenbaum, "nunca subestimes el ancho de banda de una camioneta llena de cintas que se precipitan por la carretera".