¿Soluciones de almacenamiento en niveles automáticas caseras con Linux? (Memoria -> SSD -> HDD -> almacenamiento remoto)

Relacionado con esta pregunta sobre el uso de un SSD para el sistema y HDD para datos , excepto que me gustaría que mi sistema lo haga automáticamente ...

¿Es posible tener varias capas de almacenamiento e insertar elementos automáticamente entre ellos, utilizando preferiblemente un software gratuito de código abierto?

Sé de soluciones de clase empresarial enormemente costosas como el archivado automático EMC SAN-> EMC Centera , pero me preguntaba si este tipo de almacenamiento por etapas es posible hacerlo automáticamente.

Sería bueno poder tener varias capas en esto: Memoria-> SSD-> HDD-> HDD o cinta más lenta o alguna otra solución de archivo.

¿Hay algún sistema de archivos que pueda hacer esto automáticamente? (ZFS, Btrfs, MARTILLO?)

Cualquier variante de Unix está bien, ya que estoy interesado en cómo funciona esto y si es probable que sea portátil para Linux u otros sabores (BSD, etc.).

Bueno, ZFS usa una capa de almacenamiento llamada Hybrid Storage Pool (HSP) :

1. Capa: memoria
2. Capa: cachés de lectura basados ​​en SSD (L2ARC) y cachés de escritura (registro de intención separado, también conocido como slog).
3. Capa: discos duros (baratos)

Con HSP es fácil beneficiarse automáticamente de las ventajas de los SSD en comparación con una solución de solo disco duro. Un sistema que usa HSP puede ser más rápido y más barato que este último. Vea este enlace para algunos buenos ejemplos y más detalles.

Creo que hay planes con respecto a la gestión de almacenamiento jerárquico (HSM) para ZFS (ver, por ejemplo, el proyecto OpenSolaris de migración automática de datos (ADM) ) pero no sé su estado actual.

Echa un vistazo a la solución "lvmts" (LVM Tiered Storage) basada en LVM que este tipo está cocinando:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Muy genial.

TIER parece responder a sus necesidades Es un módulo de kernel de Linux que puede crear un almacenamiento en niveles. Parece aprender por sí mismo el patrón y optimizar la ubicación en el almacenamiento

http://www.lessfs.com/wordpress/?p=776

Respondiendo mi propia pregunta con algo que acabo de encontrar:

Estaba actualizando el kernel y mirando las cosas nuevas que se han agregado, y ahora hay una opción 'CACHEFILES' que permite almacenar en caché los sistemas de archivos (generalmente remotos) en un sistema de archivos local. Creo que podría usar esto para almacenar en caché un mecanismo de almacenamiento más lento (HDD) en uno más rápido (SSD), al menos para un nivel de jerarquía.

Algunos enlaces relevantes. YMMV.

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) es el primer intento hacia un administrador de almacenamiento de datos de código abierto de nivel empresarial que mueve automáticamente los datos entre el almacenamiento de alto costo y el de bajo costo medios de comunicación.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI en Linux

http://jfs.sourceforge.net/ - JFS + DMAPI en Linux

Los controladores RAID ofrecen algunas de estas características.

"Aprovecha los SSD frente a los volúmenes de HDD para crear grupos de caché de controladores de alta capacidad y alto rendimiento"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

Me vienen a la mente las instantáneas LVM2 ... pero en realidad no puedes hacer más que una sola instantánea.

SAM-QFS es el producto existente de Sun y fue de código abierto el año pasado. Es CDDL, por lo que solo puede portarlo directamente a * BSD.