Transferencia de una gran cantidad de datos entre continentes [duplicado]

Posible duplicado: ¿
forma gratuita de compartir archivos grandes a través de Internet?
¿Cuáles son algunas opciones para transferir archivos grandes sin usar Internet?

El laboratorio de mi esposa está haciendo un proyecto aquí en los Estados Unidos con colaboradores en Singapur. En ocasiones necesitan transferir una gran cantidad de datos de imágenes de alta dimensión (~ 10 GB comprimidos) a través de los continentes. Con las tecnologías actuales, ¿cuál sería una buena solución para este escenario de uso?

Se me ocurren algunos, pero ninguno parece ideal:

• Conexión directa a través de Internet: la velocidad de transferencia es de aproximadamente 500 KB / s, también carece de una herramienta para manejar errores / retransmisiones.
• Cargar a un servidor o servicio común como Dropbox: doloroso de cargar para un colaborador no estadounidense.
• Grabar discos o copiarlos en HD y enviarlos a través de Courier: la latencia es importante, además del trabajo adicional para hacer una copia local.

¿Alguna sugerencia?

Actualización: ninguna de las partes de la colaboración son usuarios expertos en tecnología.

Le sugiero que use rsync . Rsync admite el algoritmo de transferencia delta, por lo que si sus archivos se cambian solo parcialmente o si la transferencia anterior se finalizó de manera anormal, Rsync es lo suficientemente inteligente como para sincronizar solo las novedades / cambios.

Hay varios puertos del Rsync original para Windows y otros sistemas no compatibles con Unix, tanto gratuitos como no gratuitos. Consulte el artículo de Rsync Wikipedia para más detalles.

Rsync sobre SSH es muy utilizado y funciona bien. 10 GB es una cantidad relativamente pequeña de datos hoy en día, y no especificó qué significa "ocasionalmente". ¿Semanal? ¿Diario? ¿Cada hora? Con una velocidad de transferencia de 500 KB / seg, tomará alrededor de 6 horas, en realidad no mucho tiempo. Si necesita transferir los datos con frecuencia, probablemente sea mejor crear una tarea cron para iniciar rsync automáticamente.

La conexión a través de Internet puede ser una opción viable y un programa como Bittorrent es exactamente adecuado para este propósito, ya que dividirá los archivos en partes lógicas para enviarlas a través de Internet y reconstruirlas en el otro extremo.

Bittorrent también le brinda corrección automática de errores, reparación de piezas dañadas y si más personas necesitan los archivos, obtendrán el beneficio de poder recibir el archivo de tantas fuentes como ya hayan descargado (partes del) archivo.

Las personas reconocidas lo ven como una buena manera de descargar películas y cosas por el estilo, pero tiene muchos más usos legales.

Muchos clientes de bittorrent también tienen rastreadores integrados para que no tenga que tener un servidor dedicado para alojar los archivos.

Divida el archivo en trozos de, por ejemplo, 50 MB (usando, por ejemplo split). Calcular sumas de comprobación para todos ellos (por ejemplo md5sum). Cargue directamente utilizando FTP y un cliente FTP tolerante a errores, como lftpen Linux. Transfiera todos los fragmentos y un archivo que contenga todas las sumas de verificación.

En el sitio remoto, verifique que todos los fragmentos tengan la suma de comprobación deseada, vuelva a cargar los que fallaron y vuelva a ensamblarlos en el archivo original (por ejemplo, usando cat).

Revierta la ubicación del servidor (publiqué bajo el supuesto de que el sitio de destino proporcionó el servidor y usted inicia la transferencia localmente cuando los archivos están listos) según sea necesario. Su cliente FTP no debería importarle.

He tenido problemas similares en el pasado y el uso de un cliente FTP tolerante a errores funcionó. Nunca se voltearon los bits, solo se cancela la conexión regular, por lo que podría omitir la creación de fragmentos y simplemente cargar el archivo. Todavía proporcionamos una suma de verificación para el archivo completo, por si acaso.

Una variación de la respuesta de Daniel Beck es dividir los archivos en trozos del orden de 50 MB a 200 MB y crear archivos de paridad para todo el conjunto.

Ahora puede transferir los archivos (incluidos los archivos de paridad) con FTP, SCP u otra cosa al sitio remoto y hacer una verificación después de la llegada de todo el conjunto. Ahora, si hay partes dañadas, pueden ser reparadas por los archivos de paridad si hay suficientes bloques. Esto depende más o menos de cuántos archivos están dañados y cuántos archivos de paridad ha creado.

Los archivos de paridad se usan mucho en Usenet para enviar archivos grandes. La mayoría de las veces se dividen como archivos RAR en ese momento. No es raro enviar datos de hasta 50 a 60 GB de esta manera.

Definitivamente, debe consultar el primer enlace y también puede echar un vistazo a QuickPar , una herramienta que se puede utilizar para crear archivos de paridad, verifica los archivos descargados e incluso puede restaurar archivos dañados con los archivos de paridad proporcionados.

¿Es un gran archivo de 10 GB? ¿Podría ser fácilmente dividido?

No he jugado mucho con esto, pero me pareció un concepto interesante y relativamente simple que podría funcionar en esta situación:

http://sendoid.com/

Haga que los datos estén disponibles a través de ftp / http / https / sftp / ftps (que requieren credenciales de inicio de sesión) y use cualquier administrador de descargas en el lado del cliente.

Los gestores de descargas están diseñados específicamente para recuperar datos independientemente de los errores que puedan ocurrir, por lo que se ajustan perfectamente a su tarea.

En cuanto al servidor, un servidor FTP suele ser el más fácil de configurar. Puede consultar una lista en Wikipedia. HTTPS, SFTP y FTPS permiten el cifrado (en FTP / HTTP puro, la contraseña se envía en texto claro), pero SFTP / FTPS son menos compatibles con el software del cliente y la configuración del servidor HTTP / HTTPS es complicada.