Actualizar
S3 ahora ofrece un servicio de puerta de enlace SFTP totalmente administrado para S3 que se integra con IAM y se puede administrar usando aws-cli.
Hay razones teóricas y prácticas por las que esta no es una solución perfecta, pero funciona ...
Puede instalar un servicio FTP / SFTP (como proftpd) en un servidor Linux, ya sea en EC2 o en su propio centro de datos ... luego monte un depósito en el sistema de archivos donde el servidor ftp está configurado para chroot, usando s3fs .
Tengo un cliente que sirve contenido de S3, y el contenido se lo proporciona un tercero que solo admite los empujes de ftp ... por lo tanto, con algunas dudas (debido a la falta de coincidencia de impedancia entre S3 y un sistema de archivos real) pero falta Al momento de escribir un paquete de software de servidor de puerta de enlace FTP / S3 adecuado (que todavía tengo la intención de hacer uno de estos días), propuse e implementé esta solución para ellos hace varios meses y no han informado de ningún problema con el sistema.
Como beneficio adicional, dado que proftpd puede agrupar a cada usuario en su propio directorio de inicio y "simular" (hasta donde el usuario lo sepa) que los archivos propiedad del usuario proftpd son propiedad del usuario conectado, esto segrega a cada usuario ftp en un "subdirectorio" del depósito y hace que los archivos de los demás usuarios sean inaccesibles.
Sin embargo, hay un problema con la configuración predeterminada.
Una vez que comience a obtener algunas decenas o cientos de archivos, el problema se manifestará cuando extraiga una lista del directorio, porque ProFTPd intentará leer los .ftpaccessarchivos una y otra vez, y para cada archivo en el directorio, .ftpaccessse verifica para ver si el usuario debería poder verlo.
Puede deshabilitar este comportamiento en ProFTPd, pero sugeriría que la configuración más correcta es configurar opciones adicionales -o enable_noobj_cache -o stat_cache_expire=30en s3fs:
-o stat_cache_expire (el valor predeterminado no caduca)
especificar el tiempo de caducidad (segundos) para las entradas en el caché de estadísticas
Sin esta opción, hará menos solicitudes a S3, pero tampoco siempre descubrirá de manera confiable los cambios realizados en los objetos si los procesos externos u otras instancias de s3fs también están modificando los objetos en el depósito. El valor "30" en mi sistema fue seleccionado de manera algo arbitraria.
-o enable_noobj_cache (el valor predeterminado es deshabilitar)
habilitar entradas de caché para el objeto que no existe. s3fs siempre tiene que verificar si el archivo (o subdirectorio) existe debajo del objeto (ruta) cuando s3fs ejecuta algún comando, ya que s3fs ha reconocido un directorio que no existe y tiene archivos o subdirectorios en sí mismo. Aumenta la solicitud de ListBucket y hace que el rendimiento sea malo. Puede especificar esta opción para el rendimiento, s3fs memoriza en el caché de estadísticas que el objeto (archivo o directorio) no existe.
Esta opción permite que s3fs recuerde que .ftpaccess no estaba allí.
Sin relación con los problemas de rendimiento que pueden surgir con ProFTPd, que se resuelven con los cambios anteriores, también debe habilitarlo -o enable_content_md5en s3fs.
-o enable_content_md5 (el valor predeterminado es deshabilitar)
verificar los datos cargados sin multiparte mediante el encabezado content-md5. Habilite el envío del encabezado "Content-MD5" al cargar un objeto sin publicación de varias partes. Si esta opción está habilitada, tiene algunas influencias en el rendimiento de s3fs al cargar objetos pequeños. Debido a que s3fs siempre verifica MD5 al cargar objetos grandes, esta opción no afecta a los objetos grandes.
Esta es una opción que nunca debería haber sido una opción, siempre debería estar habilitada, porque no hacer esto pasa por alto una comprobación de integridad crítica por solo un beneficio de rendimiento insignificante. Cuando un objeto se carga en S3 con unContent-MD5: encabezado, S3 validará la suma de verificación y rechazará el objeto si está dañado en tránsito. Por improbable que sea, parece miope deshabilitar esta verificación de seguridad.
Las citas son de la página de manual de s3fs. Los errores gramaticales están en el texto original.