Cómo mover el cubo S3 a una ubicación diferente

Usamos S3 para almacenar millones de entradas en nuestra aplicación web, ahora trasladamos todo a EC2, servidores de la UE, y también queremos mover esos datos S3 a la UE. Pero el depósito que utilizamos está en EE. UU., Y parece que no hay ninguna herramienta para mover todo el contenido del depósito a un depósito diferente.

También hay un problema sobre cómo sincronizar los datos más adelante cuando cambiamos al depósito de la UE, los datos que se crearán mientras se ejecuta la migración.

La nueva CLI oficial de AWS admite de forma nativa la mayor parte de la funcionalidad de s3cmd.

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket --source-region us-west-1 --region us-west-2

Supongo que puedes correr:

s3cmd --recursive cp s3://oldbucket/ s3://newbucket

Debería copiarlo directamente.

No conozco una solución empaquetada para hacer esto, pero esencialmente es solo una LISTA de cubos y luego PONER-copiar cada objeto del cubo de EE. UU. Al cubo de la UE. La API PUT-copy admite "if-modified-since" y "if-none-match", por lo que puede ejecutarlo repetidamente sin duplicar esfuerzos: http://docs.amazonwebservices.com/AmazonS3/2006-03-01/ API / index.html? RESTObjectCOPY.html

Para una migración en vivo, sugeriría el siguiente enfoque:

1. Primer paso opcional: si tiene una gran cantidad de datos para migrar, considere usar AWS Import / Export para capturar la primera instantánea de los datos en un dispositivo físico en los EE. UU. Y enviarlos físicamente a la UE. Esto puede ahorrarle tiempo y dinero.
   • Configure una secuencia de comandos para migrar datos de EE. UU. A la UE utilizando if-modified-since o if-none-match como se describió anteriormente. Haga que sea lo suficientemente inteligente como para no obtener datos frescos de la UE con datos obsoletos de los Estados Unidos (una vez que llegue al paso 5 a continuación). Ejecútelo continuamente en un bucle hasta que los dos cubos estén aproximadamente en el mismo estado.
   • Modifique su aplicación web para PONER datos en los cubos de EE. UU. Y de la UE al mismo tiempo, mientras continúa OBTENIENDO datos exclusivamente de los EE. UU.
   • Continúe ejecutando su secuencia de comandos de migración hasta que esté seguro de que los depósitos están exactamente en el mismo estado (o lo más cerca posible, dada la consistencia eventual).
   • Modifique la aplicación web nuevamente para OBTENER datos exclusivamente del depósito de la UE.
   • Ahora puede desactivar su script de migración.
   • Busque eventuales anomalías de consistencia y límpielas.
   • Modifique la aplicación web para dejar de PONER datos en el depósito de EE. UU.
   • BORRAR todo en el cubo de EE. UU.

Es posible que desee utilizar el almacenamiento de redundancia reducida S3 en su bucket de la UE durante la migración para obtener tasas de datos más baratas y tiempos de respuesta más rápidos, ya que los datos son solo un duplicado de los datos de EE. UU.

También puede considerar configurar la replicación entre regiones, que le permite copiar y mantener sincronizados los datos entre regiones https://aws.amazon.com/blogs/aws/new-cross-region-replication-for-amazon- s3 /

He trabajado bastante con S3 y nunca me he encontrado con una herramienta que lo haga de forma nativa. Sin embargo, no sería tan difícil usar un par de scripts de sincronización s3cmd-sync para mantener dos cubos sincronizados entre sí.