Geoservidor con cubo Amazon s3


12

Tengo Apache ejecutando Geoserver en mi instancia virtual, y me pregunto si el directorio de datos de Geoserver puede apuntar a un bucket de Amazon S3. es posible? ¿Cómo afecta esto al rendimiento?

Si S3 es una configuración deficiente para el directorio de datos de Geoserver, ¿hay alguna sugerencia para agregar grandes cantidades de datos a mi directorio de datos de Geoserver? El directorio de datos puede alcanzar hasta 100 de GB, posiblemente más. ¿Debo obtener un servidor con un disco duro grande o conectarme a una solución más escalable, como un bucket de Amazon S3?


¿Qué son los datos? Supongo que las imágenes, pero ¿las has en mosaico? Tal vez alguna base de datos para el raster win :-)
BradHards

1
Si sus datos son ráster y serán leídos y procesados ​​para WMS interactivo, S3 podría estar muy lento. Consejos de experiencias pasadas, es posible que desee ver glusterfs + EBS.
simogeo

1
Tengo interés en utilizar S3 como un grupo de datos compartidos para una flota de GeoServers escalables horizontalmente y elásticamente. Actualmente estoy investigando el uso de S3Fuse para montar un sistema de archivos para esto. Sería genial saber de otros éxitos / fracasos en esta área.
8bitjunkie

¿Alguna experiencia en este tema?
geogeek

Respuestas:


10

Señalar "directamente" a un depósito de S3 (por ejemplo, usar s3fs) es "probablemente" una mala idea. por ejemplo, /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

Es casi seguro que EBS es el lugar adecuado para almacenar los datos para el acceso de GeoServer.

100 GB es muy manejable para los estándares de EBS. (¡El volumen máximo es de 16 terabytes!)

Podría sugerir almacenar los datos originales en S3 y luego replicarlos en sus instancias según sea necesario, utilizando las herramientas de AWS CLI para sincronizar el contenido de una carpeta S3 con su instancia local con un solo comando. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 es posiblemente redundante, pero creo que agrega flexibilidad y conveniencia.

Nota al margen: de todos modos, si planea utilizar instancias multinúcleo grandes Y sabe que es probable que el volumen de datos no crezca de manera inesperada Y puede crear sus instancias automáticamente, podría considerar el uso de almacenamiento de instancias ("almacenamiento efímero" ) debido a que sus datos originales estarán seguros en S3, puede ahorrar en tarifas de EBS, y el almacenamiento de instancias puede ser un poco más rápido que EBS en algunos casos.


1
Esta es una respuesta integral. Boundless tiene un poco de información aquí: boundlessgeo.com/2013/04/…
Alex Leith

¿Qué utiliza para iniciar comandos de AWS desde pyQGIS? Processing.call? boto3 no parece ejecutarse. Se ejecuta en el shell Osgeo con python2 pero no 3 ...
Leo

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.