¿Transferir una gran cantidad de imágenes (30 GB) al servidor virtual desde una máquina lenta, antigua y Linux?

Necesito transferir 200,000 imágenes a una instancia de Windows EC2 desde una máquina Linux realmente antigua. No tengo mucha experiencia con Linux, por lo que no he intentado FTPing directo porque no creo que tengamos el software adecuado, si es una descarga rápida y fácil, estoy abierto a una solución, pero esto es realmente lento y molesto, especialmente para un extranjero de Linux. Intenté transferir las imágenes a una unidad USB para cargar desde una PC diferente, pero se congela y se detiene después de aproximadamente 1 GB. ¿Cuál sugeriría que sería la forma más efectiva de lograr esto?

No importa qué método real de copia / transferencia use, primero debe empaquetarlos en un archivo. Eso asegurará que sucedan 2 cosas: el nuevo archivo que desea transferir está listo (en comparación con muchos archivos que podrían ser ilegibles) y la transferencia en sí misma será mucho más suave. Los archivos pequeños son una molestia para cualquier tipo de copia o transferencia. Una vez que tenga un archivo de gran tamaño, puede usar cualquier método válido, incluido scp mencionado anteriormente.

Aquí no hay una respuesta correcta: en su mayor parte, las transferencias de archivos no utilizan muchos recursos además del ancho de banda, por lo que la velocidad de la máquina probablemente no sea un gran problema.

La respuesta depende de la variante de Linux que tenga y de cómo se conecte entre el cliente y el servidor. La solución más obvia, si tiene ssh, es usar rsync: Rsync viene con la mayoría de las distribuciones, o se agrega trivialmente con algo como "apt-get install rsync" o "yum install rsync". Lo bueno de usar rsync es que si la descarga falla a la mitad, simplemente ejecute el comando y continuará donde se quedó.

Si Rsync no es una opción, la siguiente solución lógica sería usar scp. Para usar esto, usaría "scp -r serverip: / path / destpath". Esto funcionará mientras el servidor tenga ssh.

Si eso no funciona, intente usar wget o ncftp para descargar a través de FTP. Sin embargo, FTP no es un gran protocolo.

Al releer el problema, resulta que la solución es diferente de lo que sugerí inicialmente. Necesitamos algo de plataforma cruzada, maneja las transferencias de archivos de manera confiable y es muy simple.

La sincronización de bittorrent debería funcionar. El cliente de Linux es un binario simple y único con su propio webui. Configure un recurso compartido allí, luego use el cliente de Windows en el otro lado para descargar el directorio.

Dado que el protocolo subyacente es bitorrent, debe manejar cualquier problema y verificar los errores con bastante gracia, y no se necesita prácticamente ninguna configuración, fuera de la creación de los recursos compartidos.