¿Cómo se crean sistemas de archivos compartidos grandes y ampliables en Linux en AWS?

¿Cuáles son las formas aceptables / razonables / mejores para proporcionar almacenamiento compartido grande, ampliable en AWS, expuesto como un único sistema de archivos?

Actualmente estamos haciendo volúmenes de 1 TB de EBS ~ quincenales y NFS exportando con no_subtree_check y nohide. En esta configuración, aparecen exportaciones distintas bajo un solo montaje en el cliente. Este arreglo no escala bien.

Las opciones que hemos considerado:

LVM2 con ext4. resize2fs es demasiado lento.
Btrfs en Linux. obviamente no está listo para el horario estelar todavía.
ZFS en Linux. obviamente no está listo para el horario estelar todavía (aunque LLNL lo usa)
ZFS en Solaris. El futuro de este combo es incierto (para mí), y el nuevo sistema operativo en la mezcla
Glusterfs. Escuché sobre todo buenas pero dos historias de miedo (¿y quizás viejas?).

La solución ideal proporcionaría compartir, una sola vista fs, fácil expansión, instantáneas y replicación.

Gracias por compartir ideas y experiencias.

— Reece
fuente

¿Has corrido los números en esto? Me parece que es prohibitivamente caro ...

— Michael Hampton

Buena pregunta. La respuesta es más o menos, pero llegamos temprano. Nuestra necesidad de datos es alta y la necesidad de cálculo es explosiva. Por lo tanto, no está claro cuál cuesta más: AWS con almacenamiento costoso y solución de cómputo más barata, o local con cómputo costoso y almacenamiento más económico. (Ni siquiera estoy convencido de que el costo de almacenamiento completamente cargado sea realmente más barato). Probablemente esconderíamos los datos de archivo en Glacier para reducir el costo (las restricciones nos funcionan).

— Reece

No olvide los costos de ancho de banda.

— Michael Hampton

Acerca de ZFS, es Solaris o FreeBSD, pero como usted lo dijo, el futuro es algo incierto para Solaris y ZFS de código abierto está atascado en la versión 28 (sea cual sea el sistema operativo).

— Ouki

¿Qué tal XFS (además de LVM)? Es más maduro que ext4, y existe la posibilidad de realizar volcados incrementales del sistema de archivos. Es posible que desee consultar su artículo de Wikipedia y los puntos de referencia contra ext4 a los que se hace referencia en él.

— Peterph
fuente

Gracias Petr. Había considerado (y olvidado) el combo LVM + XFS. Tengo cierta inquietud acerca de LVM2 y XFS, principalmente en torno a la incertidumbre y la nueva complejidad operativa para nosotros. No espero obtener algo por nada (es decir, almacenamiento expandible sin esfuerzo), pero me gustaría minimizar el esfuerzo y el riesgo para nosotros. Por ejemplo, ¿cuál es la implicación de perder un volumen EBS que es parte de una matriz RAID1? Puede que no sea un problema, pero en este punto tales preguntas crean incertidumbre para mí. En una era de ZFS y btrfs, esperaba esquivar tal complejidad.

— Reece

@Reece La pregunta es si confía en el mapeador de dispositivos: iirc, la mayor parte de LVM son en realidad herramientas de espacio de usuario respaldadas por dm. Sin embargo, necesitaría un núcleo no demasiado ancinet (2.6.33+ - ver wiki ).

— Peter