¿Los discos duros de clase de consumidor están bien para zfs?

Recientemente compré un nuevo servidor, un HP DL380 G6. Reemplacé el controlador stock smart array p410 con un LSI 9211-8i.

Mi plan es usar ZFS como el almacenamiento subyacente para XEN que se ejecutará en el mismo metal desnudo.

Me han dicho que puede usar discos SATA con los controladores de matriz inteligente, pero debido a que las unidades de consumo carecen de TLER, CCTL y ERC, no se recomienda. ¿Es este el caso?

Me preguntaba si el uso del controlador LSI en JBOD (modo de transferencia RAID) ¿tiene realmente el mismo tipo de discos que uso con el controlador de matriz inteligente?

Soy consciente de que intentar usar un sistema RAID que no esté respaldado por una caché de escritura para la virtualización no es bueno para el rendimiento. Pero estaba agregando un SSD para ZFS. ¿Eso haría alguna diferencia?

Creo que estoy tan obsesionado con el uso de ZFS es para la deducción y compresión. No creo que el controlador de matriz inteligente pueda hacer ninguna de esas características.

— ianc1215
fuente

Nunca se recomienda el uso de inmersiones SATA de consumo en un servidor. Pero sospecho que las razones no están necesariamente motivadas por estadísticas de confiabilidad. Hay una cantidad cada vez mayor si la investigación disponible respalda esa afirmación, así que siga adelante y use discos de consumo si está preparado para correr el riesgo.

— Matt

Consulte las mejores prácticas de ZFS con RAID de hardware . Puede ejecutar ZFS sobre una unidad lógica provista por el controlador Smart Array. En la configuración que describe, un SSD para ZFS probablemente no ayudará mucho. La compresión en ZFS es genial. La deduplicación en ZFS no lo es .

— ewwhite

Respuestas:

Por favor no hagas esto.

Si va a ejecutar ZFS en Linux, hágalo completamente sin una capa de virtualización. Las soluciones de virtualización y ZFS todo en uno son lindas , pero no vale la pena el esfuerzo en producción.

En lo que respecta a las unidades, puede usar discos SATA en un controlador HP Smart Array, así como en el controlador LSI 9211-8i. En una configuración ZFS, una falla de los discos SATA puede tener un efecto adverso en el sistema cuando se ejecuta con el controlador LSI.

Usar discos de consumo es exactamente lo que es. Entra sabiendo las advertencias.

Editar:

¿Entonces está buscando ejecutar un sistema de archivos ZFS para proporcionar almacenamiento para máquinas virtuales locales?

El HP Smart Array P410 es un buen controlador RAID. Lo más importante es que el suyo probablemente tenga una memoria caché de escritura respaldada por batería o respaldada por flash. Eso es importante para fines de rendimiento. Lograr lo mismo correctamente en ZFS ( usar el ZIL ) es mucho más costoso y requiere más pensamiento de ingeniería . Es posible que ZFS no le ofrezca mucho sobre un sistema de archivos tradicional como XFS para este propósito en particular.

Esto sería diferente si estuviera utilizando ZFS en un servidor dedicado para proporcionar almacenamiento a otros hipervisores.

Ver: mejores prácticas de ZFS con RAID de hardware

— ewwhite
fuente

No creo que mi pregunta fuera clara. No estoy ejecutando ZFS en una máquina virtual. Estoy ejecutando ZFS en el metal desnudo. Proporcionará almacenamiento para mis máquinas virtuales. En cuanto a la tarjeta de banda, me dijeron que usar una tarjeta de banda HP "oculta" las unidades de metal desnudo y hace que ZFS sea menos efectivo. ¿Es este el caso?

— ianc1215

@Solignis Vea mi edición arriba.

— ewwhite

Sí, almacenamiento local en un servidor xen. La razón por la que estaba buscando usar el controlador lsi es que admite jbod. La matriz inteligente no lo hace.

— ianc1215

@Solignis Nuevamente, el controlador LSI y ZFS no le ofrecen ningún beneficio para su caso de uso. No tendrá almacenamiento en caché de escritura, lo cual es MALO para la virtualización. Necesitará usar RAID de software para arrancar el sistema y probablemente dedicar discos físicos para el arranque. Realmente no vale la pena. Podría ejecutar ZFS sobre su RAID de hardware, utilizando un solo dispositivo, pero realmente necesitaría tener una razón específica para necesitar ZFS. Vea esta pregunta: serverfault.com/questions/545252/…

— ewwhite

Estoy de acuerdo con ewwhite. ZFS en Dom0 no proporciona ningún beneficio real y es probable que perjudique gravemente el rendimiento.

— Matt

Es posible usar discos de calidad de consumidor en HW de calidad de servidor, aunque no se recomienda si va a utilizar el soporte del proveedor. Se quejarán como el infierno por qué reemplazaste las unidades perfectamente compatibles con otras no compatibles. Aparte de eso, no hay problema para hacerlo y el backblaze lo demostró ( http://www.getoto.net/noise/2013/11/12/how-long-do-disk-drives-last/ ).

En cuanto a la selección de unidades, busque unidades que admitan NCQ y debería estar bien.

Usar las unidades en modo JBOD es pedir problemas. Es muy probable que el controlador LSI le muestre un solo disco grande (y no lo desea). Lo que necesita es el modo passtrough (básicamente use el controlador como extensor para el recuento de puertos. Compruebe si este es el caso).

ZFS en Linux: no es una idea estelar. Todavía no es lo suficientemente estable, aunque es utilizable. Dedup en zfs: un gran no si está planeando ejecutar una carga seria en la máquina. Tiende a comer mucho ram (en el rango de 2-4 G por cada 200-500 GB de datos deducidos). Podría haber mejorado, pero no lo he comprobado pronto. La compresión puede ser una buena opción, aunque depende de los datos.

SSD: Sí, hará una gran diferencia. Hay varias áreas (ZIL ya se mencionó anteriormente) que mejorarán bastante si se colocan en un disco separado (y si están en SSD aún más).

Si no está de acuerdo con el ZFS, sugeriría usar solaris / nexenta / opensolaris o BSD para el host de almacenamiento y luego exportarlo a los hosts XEN a través de iscsi / ata-over-eternet / etc.

Sugiero encarecidamente al menos hojear el blog de backblaze y buscar las ideas que están utilizando en la construcción de sus POD

— zeridon
fuente

ZFS en Linux es bastante estable, pero hay indulgencia en las mejores prácticas de ZFS. Aún necesita planificar e diseñar en consecuencia. Los controladores RAID de hardware son más indulgentes.

— ewwhite

Tanto quiero usar ZFS para sus características. Todos los puntos hechos son muy buenos. Si tuviera otro servidor, configuraría un objetivo iSCSI pero mi presupuesto para equipos personales es bajo ya que esto no está relacionado con un negocio. Gracias por la perspicacia.

— ianc1215

Tengo un sistema con el controlador exacto mencionado por el OP (LSI 9211-8i SAS HBA), con firmware IR (tenía la intención de volver a flashearlo al firmware de TI, pero nunca lo logré, y de todos modos funciona bien). Sin una configuración particular, actúa como un simple HBA y pasa los discos individuales al sistema operativo. Se puede configurar para presentar volúmenes RAID, pero no lo hace sin que se lo indiquen.

— un CVn