¿Puedo usar rsync para hacer copias de seguridad en Amazon S3

17

He comprado un espacio de evbackup que me proporciona FTP, rsync y SSH. Pero también he leído que Amazon S3 también se puede usar para hacer copias de seguridad.

Así que estoy realmente confundido de que Amazon le da acceso FTP para cargar archivos para hacer una copia de seguridad.

¿Cómo puedo descargar esos archivos?

Leí su sitio muchas veces pero no pude entender cómo funciona su sistema. Solo quiero hacer una copia de seguridad del directorio de inicio de mis usuarios

backup ftp amazon-s3

— Espejismo
fuente

24

No, no puede usar rsyncpara transferir archivos a Amazon. Utiliza su propio protocolo para el servicio. Pero puede acceder a su almacenamiento a través de servicios de terceros, como www.s3rsync.com , luego podrá usarlo rsyncy sus datos finalmente se transferirán al almacenamiento S3.

O puede usar utilidades especiales diseñadas para el almacenamiento S3. Hay: s3sync , s3command , s3cp , tarsnap (tarsnap es un servicio de terceros, como s3rsync).

Otra herramienta similar a rsync duplicity, es compatible con el almacenamiento S3 como back-end, así como con muchos otros backends de respaldo, incluidos RackSpace Cloud Files (otro servicio de almacenamiento en la nube, con un precio similar al de Amazon S3).

Copia de seguridad a S3:

duplicity /home/me s3+http://bucketname/prefix

o a los archivos en la nube de Rackspace:

duplicity /home/me cf+http://container_name

— sastanin
fuente

gracias por eso, tampoco pude entender su modelo de datos. Estaba revisando sus precios y siempre indican el ancho de banda. como 0,18 centavos por transferencia de datos GB. Supongamos que subo datos de 50 GB allí para hacer una copia de seguridad y luego no hago nada. Entonces, ¿cuánto cobran si no hago ninguna transferencia? No pude encontrar ninguno donde declaran cuánto espacio dan como 50 $ por disco duro de 50GB

— Mirage

@Moorage: Amazon cobra tanto por almacenamiento (desde $ 0.14 / GB por mes) como por transferencia ($ 0.1 / GB por transferencia). Entonces, por 50 GB, paga $ 7 / mes si no accede a estos datos. También hay RackSpace Cloud Files, que es un servicio similar.

— sastanin

La duplicidad se ve muy bien. Desearía haberlo visto antes de escribir mi propio clon rsync. Si la duplicidad es demasiado elaborada para usted, consulte mi simple envoltorio "rsync-like" para boto: github.com/seedifferently/boto_rsync

— Seth

1

PD: Yo nunca he usado duplicidad, pero uno de mis amigos informó copias de seguridad rotas. Usar con cuidado.

— sastanin

También puede probar minio client [ github.com/minio/mc ] también conocido como mc. Puede usar el comando [mc mirror] para reflejar su carpeta local con el depósito S3.

— user52692

5

La interfaz de línea de comando oficial de Amazon funcionó bien para mí. Se puede sincronizar desde un depósito local a un S3, y también se puede sincronizar desde un depósito S3 a archivos locales.

1) instale la interfaz de línea de comandos de Amazon, desde https://aws.amazon.com/cli/

2) de una concha,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

En http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html se encuentran más opciones útiles como --dryrun y --delete (para duplicar) .

— jmnben
fuente

4

Simplemente puede montar su depósito localmente usando s3fs y luego usar rsync para copiar a ese punto de montaje.

— GJ
fuente

2

Eso suena divertido, pero seguramente sería leer localmente para comparar los hashes, lo que frustra el propósito de rsync ... ¿No?

— David Fraser

0

Jungle Disk es una forma fácil de hacer copias de seguridad de archivos en Amazon S3 (suscripción que incluye una cuenta S3, pero puede usar cualquier otra cuenta de AWS). También es posible que desee echar un vistazo a Super Flexible (solo software).

— paradroid
fuente