¿Descarga carpetas desde aws s3, cp o sync?

108

Si quiero descargar todo el contenido de un directorio en S3 a mi PC local, ¿qué comando debo usar cp o sync?

Cualquier ayuda sería muy apreciada.

Por ejemplo,

si quiero descargar todo el contenido de "esta carpeta" en mi escritorio, ¿se vería así?

 aws s3 sync s3://"myBucket"/"this folder" C:\\Users\Desktop

windows amazon-web-services amazon-s3

— BFlint
fuente

186

El uso aws s3 cpdesde la AWS Command-Line Interface (CLI) requerirá el --recursiveparámetro para copiar varios archivos.

aws s3 cp s3://myBucket/dir localdir --recursive

El aws s3 synccomando, por defecto, copiará un directorio completo. Solo copiará archivos nuevos / modificados.

aws s3 sync s3://mybucket/dir localdir

Experimente para obtener el resultado que desea.

Documentación:

— John Rotenstein
fuente

3

Me tomó unos minutos averiguar dónde conseguir aws cli. Aquí está: aws.amazon.com/cli

— Bjørn Stenfeldt

@dnafication Cree una nueva pregunta en lugar de hacer una pregunta en un comentario sobre una pregunta anterior.

— John Rotenstein

aws s3 cp s3://myBucket/dir localdir --recursive. Esto funciona a las mil maravillas. Si se omite la bandera --recursive, arroja un error bastante inútil:fatal error: An error occurred (404) when calling the HeadObject operation: Key "myBucket" does not exist

— Siddhartha

Pero si el archivo solo tiene un tamaño grande en GB, ¿cuál sería la recomendación?

— Kanagavelu Sugumar

@KanagaveluSugumar Cree una nueva pregunta en lugar de hacer un comentario sobre una pregunta anterior.

— John Rotenstein

4

En caso de que necesite utilizar otro perfil, especialmente cuenta cruzada. necesitas agregar el perfil en el archivo de configuración

[profile profileName]
region = us-east-1
role_arn = arn:aws:iam::XXX:role/XXXX
source_profile = default

y luego, si accede a un solo archivo

aws s3 cp s3://crossAccountBucket/dir localdir --profile profileName

— myPavi
fuente

2

En el caso de que desee descargar un solo archivo, puede probar el siguiente comando:

aws s3 cp s3://bucket/filename /path/to/dest/folder

— gCoh
fuente

0

Acabo de utilizar la versión 2 de la AWS CLI. Para la opción s3, también hay una opción --dryrun ahora para mostrarle lo que sucederá:

aws s3 --dryrun cp s3://bucket/filename /path/to/dest/folder --recursive

— Marc Duby
fuente