Transfiera 10 TB de archivos del centro de datos de EE. UU. Al Reino Unido

Estoy migrando mi servidor de EE. UU. Al Reino Unido de un centro de datos a otro. Mi anfitrión dijo que debería poder alcanzar 11 megabytes por segundo.

El sistema operativo es Windows Server 2008 en ambos extremos.

Mi tamaño de archivo promedio es de alrededor de 100 MB y los datos se dividen en cinco unidades de 2 TB.

¿Cuál sería la forma recomendada de transferir estos archivos?

• FTP
• SMB
• Rsync / Robocopy
• ¿Otro?

No me preocupa demasiado la seguridad, ya que estos son archivos públicos de todos modos, pero solo quiero una solución que pueda impulsar la velocidad de transferencia completa de 11 MB / s para minimizar el tiempo total de transferencia.

Envíe discos duros a través del océano.

A 11 Mbps con plena utilización, está buscando apenas 90 días para transferir 10 TB.

11 Mbps = 1.375 MBps = 116.015 GB / día .

10240 GB / 116.015 GB / día = ~ 88.3 días .

Diría que rsync, a 11 MB / s, mirará entre 10 y 14 días e incluso si se interrumpe, rsync comenzará fácilmente donde se detuvo la última vez.

A 11 Mbps, enviaría los discos duros como se sugirió anteriormente :)

Rsync por supuesto.

Al menos puede continuar en cualquier momento después de un descanso, y es sin ningún dolor.

Nunca subestimes el ancho de banda de una camioneta llena de cintas

- Trad.

En su caso, discos o cintas enviados por mensajería, pero el principio aún se aplica. Si no le preocupa la latencia, será mucho más barato que el ancho de banda de la red para transferir 10 TB de datos en un período de tiempo razonable.

Deberías usar rsync. Será comprimir los datos y de-duplicación antes de enviarlo. También puede reanudar transferencias parciales, lo cual es muy importante para cualquier transferencia grande.

Es probable que no transfiera 10 TB; si se trata de registros y texto, y podría ser inferior a 1 TB; quizás muy por debajo de 1 TB.

Hay herramientas que hacen un mejor trabajo de compresión que rsync y probablemente encuentren más coincidencias. Podrías usar lrzip, etc.

Hay tipos específicos de datos que no se comprimen bien y no contienen duplicados literales, por ejemplo, videos y otros medios. En esos casos, FTP y rsync están haciendo el mismo esfuerzo.

Sé que esto ya está aceptado, pero ¿ha considerado llevar sus discos a un centro de datos / proveedor / host donde pueda obtener más ancho de banda? Probablemente le costará algo de dinero, pero copiar 10240 Gb en discos de respaldo y enviarlos también costará tiempo y dinero (2 x dinero).

También se asegurará de que sus discos no se rompan en el transporte.

11 Mbps? Esto es una limitación que tienes aquí. En su situación, simplemente:

• Clonar los datos
• Comprimirlo
• Alquile servidores en ambos extremos con al menos 10 veces más ancho de banda (en los mismos centros de datos o en su extremo en un centro de datos cerca de usted).
• Transfiere los archivos
• Aplicar los datos al nuevo servidor.

Si realmente no tiene una solución para aumentar el ancho de banda ... Entonces el envío de una unidad física será mucho más rápido.

Desde mi dolorosa experiencia, los discos duros tienden a romperse en el correo ... Las unidades flash USB son una solución mucho mejor para las transferencias frecuentes de datos. En su caso, requeriría algunos de ellos :) Envíe 2 copias de sus datos en múltiples discos duros.

Teniendo en cuenta la cantidad de datos que tiene, también podría enviar unidades desde una matriz RAID 5 o RAID 6 si tiene el mismo hardware / software en el otro lado para conectar sus unidades. Pero en ese caso recuerde marcar el orden de sus unidades y sus números de serie para que cuando se reconfiguran no se mezclen.

Si bien tengo que estar de acuerdo con la respuesta "enviarlo usando discos duros" en este caso, aquí tengo una solución de copia que uso cuando tengo que copiar grandes cantidades de archivos por primera vez:

Si bien rsynces bueno mantener sincronizados dos almacenamientos de datos, presenta una sobrecarga innecesaria para la transferencia inicial. Me imaginé que la forma más rápida es hacia tardónde se canaliza netcat. En el sitio receptor también puede usar netcaten modo de escucha que canaliza los datos entrantes a una extracción tar. El beneficio es que tarcomienza a enviarse de inmediato y lo netcatenvía como un flujo TCP simple sin sobrecarga adicional de protocolo de nivel superior. Esto debería ser lo más rápido posible. Sin embargo, no es simple reiniciar una transferencia interrumpida en la última posición.

También es posible comprimir fácilmente los datos para la transferencia utilizando las taropciones correctas o agregar una herramienta de compresión en las tuberías. Tenga en cuenta que netcatenvía la fecha sin cifrar. En los casos en que esto no sea una opción, sshse puede usar una conexión encriptada ( tar <options> | ssh <target> -c 'tar -x <options>').

Si se transfieren todos los datos, se rsyncpuede utilizar para garantizar que todos los archivos que se actualizaron mientras tanto se sincronizan. Además, el IIRC tarno crea sockets que se perderán de lo contrario, pero de todos modos no se usan realmente para datos del centro de datos.

¿Has considerado IPoAC ?

Una sola paloma puede transportar decenas de gigabytes de datos en alrededor de una hora, lo que, en promedio, se compara de manera muy favorable con los estándares actuales de ADSL, incluso cuando se consideran unidades perdidas.

Nuevamente, la primera sugerencia es enviar las unidades.

La segunda sugerencia es usar rsync para rsyncd, no sobre SSH. He intentado muchas cosas y suele ser la más rápida. Recuerde activar la compresión. Además, observe aumentar o disminuir el tamaño del búfer rsync para obtener la velocidad de transferencia óptima. También puede ayudar a aumentar el tamaño de su MTU . Sin embargo, esto solo ayuda si los enrutadores en ruta no fragmentan sus paquetes. Hay formas de determinar si lo hacen.

Lamentablemente, no hay una configuración que siempre sea la mejor. Tendrás que experimentar para descubrir qué funciona mejor en tu situación.

Usted mencionó que los servidores ejecutan Windows 2008. ¿ Sería adecuado Microsoft DFS ? Hay algo de magia en el extremo inferior que intenta obtener el mayor ancho de banda posible de la conexión, y también tiene compresión y deduplicación (IIRC).

Eso sí, discos duros, DVD o BluRays serían más rápidos ... Mi cálculo es de 11 días con los 11 MB / s completos ...

Puedes usar un torrent para esto.

Crea un torrent privado en un extremo y usa el cliente en el otro.

Si bien existe un cifrado, debe verificar sus requisitos.