ZFS: impacto de la falla del dispositivo de caché L2ARC (Nexenta)

Tengo un servidor HP ProLiant DL380 G7 funcionando como una unidad de almacenamiento NexentaStor . El servidor tiene 36 GB de RAM, 2 controladores SAS LSI 9211-8i (sin expansores SAS), 2 unidades de sistema SAS, 12 unidades de datos SAS, un disco de repuesto dinámico, un caché Intel X25-M L2ARC y un acelerador DDRdrive PCI ZIL. Este sistema sirve NFS a múltiples hosts VMWare. También tengo alrededor de 90-100GB de datos deduplicados en la matriz.

Tuve dos incidentes en los que el rendimiento se derrumbó repentinamente, dejando a los invitados VM y las consolas Nexenta SSH / Web inaccesibles y requiriendo un reinicio completo de la matriz para restaurar la funcionalidad. En ambos casos, fue el SSD Intel X-25M L2ARC el que falló o fue "desconectado". NexentaStor no pudo alertarme sobre la falla de la memoria caché, sin embargo, la alerta general de ZFS FMA fue visible en la pantalla de la consola (que no responde).

ingrese la descripción de la imagen aquí

La zpool statussalida mostró:

  pool: vol1
 state: ONLINE
 scan: scrub repaired 0 in 0h57m with 0 errors on Sat May 21 05:57:27 2011
config:

        NAME                        STATE     READ WRITE CKSUM
        vol1                        ONLINE       0     0     0
          mirror-0                  ONLINE       0     0     0
            c8t5000C50031B94409d0   ONLINE       0     0     0
            c9t5000C50031BBFE25d0   ONLINE       0     0     0
          mirror-1                  ONLINE       0     0     0
            c10t5000C50031D158FDd0  ONLINE       0     0     0
            c11t5000C5002C823045d0  ONLINE       0     0     0
          mirror-2                  ONLINE       0     0     0
            c12t5000C50031D91AD1d0  ONLINE       0     0     0
            c2t5000C50031D911B9d0   ONLINE       0     0     0
          mirror-3                  ONLINE       0     0     0
            c13t5000C50031BC293Dd0  ONLINE       0     0     0
            c14t5000C50031BD208Dd0  ONLINE       0     0     0
          mirror-4                  ONLINE       0     0     0
            c15t5000C50031BBF6F5d0  ONLINE       0     0     0
            c16t5000C50031D8CFADd0  ONLINE       0     0     0
          mirror-5                  ONLINE       0     0     0
            c17t5000C50031BC0E01d0  ONLINE       0     0     0
            c18t5000C5002C7CCE41d0  ONLINE       0     0     0
        logs
          c19t0d0                   ONLINE       0     0     0
        cache
          c6t5001517959467B45d0     FAULTED      2   542     0  too many errors
        spares
          c7t5000C50031CB43D9d0     AVAIL   

errors: No known data errors

Esto no activó ninguna alerta desde Nexenta.

Tenía la impresión de que una falla de L2ARC no afectaría el sistema. Pero en este caso, seguramente fue el culpable. Nunca he visto ninguna recomendación para RAID L2ARC. La eliminación completa del SSD defectuoso del servidor me hizo volver a funcionar, pero me preocupa el impacto de la falla del dispositivo (y tal vez la falta de notificación de NexentaStor también).

Editar : ¿cuál es el SSD de mejor opción actual para las aplicaciones de caché L2ARC en estos días?

— ewwhite
fuente

¿Es posible que su puerto SSD o SATA tenga problemas de hardware?

— tegbains

Es una placa posterior HP SAS. Nunca he visto uno fallar o tener problemas en muchas implementaciones (Linux), pero estoy bastante seguro de que el fallo es una función del SSD de clase de consumidor en su lugar. Puedo aceptar la falla, pero el impacto en los discos restantes y el sistema de almacenamiento general es el mayor problema.

— ewwhite

En particular, Pogo Linux (que entiendo que es el mayor integrador / revendedor de Nexenta) ya no ofrece dispositivos Intel X25 como una opción para L2ARC o ZIL debido a problemas con versiones posteriores del firmware de Intel.

— Skyhawk

¿Y el reemplazo recomendado es (marca, modelo, precio)?

— ewwhite

Por cierto, la nueva serie Intel 320 puede ser interesante para probar como un dispositivo L2ARC o incluso ZIL: está respaldada por condensadores, y aunque la resistencia de escritura es limitada (hasta 60 terabytes según el modelo), el porcentaje de desgaste restante puede ser rastreado utilizando el atributo SMART E9 (comienza en 100 y cuenta regresiva hasta 1). Sospecho que muchos usuarios de ZFS podrían reemplazar este dispositivo con tanta frecuencia como sea necesario para evitar que E9 se acerque a 1, sin que el gasto acumulativo se acerque al costo de una unidad SLC de tamaño comparable.

— Skyhawk

Respuestas:

ZFS no hace E / S de disco, los controladores de dispositivo debajo de ZFS hacen E / S de disco. Si el dispositivo no responde de manera oportuna, o como en este caso, interrumpe todos los demás dispositivos en el expansor, entonces no es visible como una falla en ZFS. Todo lo que ZFS ve es una E / S lenta.

Hay un error en el firmware Intel X-25M que afecta su comportamiento durante cargas pesadas y puede provocar tormentas de reinicio. Este problema afecta a todos los sistemas operativos y no se puede resolver en la capa del sistema operativo. Póngase en contacto con su proveedor de hardware para soluciones o soluciones.

Si se espera que L2ARC satisfaga una lectura, entonces se intentará la lectura allí. ZFS luego se basa en los controladores de capa inferior para informar un error. Para este caso, la unidad continúa reiniciando y reintentando hasta 5 minutos antes de declarar que la E / S falló, según el controlador, el dispositivo y la configuración predeterminada de tiempo de espera. Solo después de que los controladores de la capa inferior declaren que la E / S ha fallado, ZFS volverá a intentar en el grupo.

Los corredores de verificación de volumen y verificación de disco de NexentaStor buscan mensajes de error adicionales y lo alertan por correo electrónico y registro de fallas. El corrector de comprobación de disco se ha mejorado en la versión 3.1 para ayudarlo a alertarlo específicamente sobre las condiciones exhibidas por el firmware roto en los SSD.

En pocas palabras: su hardware es defectuoso y deberá repararse o reemplazarse.

— Richard Elling
fuente

Gracias. Así que ya no usaré el Intel X-25. Me gustaría una recomendación probada para un nuevo dispositivo SSD L2ARC para reemplazarlo.

— ewwhite

¿Está conectando el SSD X25-M a la placa posterior? Hay un problema conocido con Nexenta y el acceso al L2ARC a través de un plano posterior. Su mejor opción es conectar el SSD directamente a un puerto SATA en la placa base. Asegúrese de que esté configurado para usar AHCI también.

Si está ejecutando algo de misión crítica en este servidor, cambiaría a un SSD SLC (como el X25-E o un SSD STEC). Dicho esto, probablemente estarás de acuerdo con el X25-M si no es así.

— enérgico
fuente

Sí, me estoy conectando a través de una bahía de unidad normal. Tengo otras instalaciones con el mismo Intel SSD ejecutándose que L2ARC (en hardware Sun y HP). Sin embargo, este en particular me ha dado problemas. Mi investigación parecía indicar que L2ARC no necesitaba ser tan robusto como el ZIL (de ahí el uso de soluciones ZIL basadas en SLC y PCI y una unidad de consumo para L2ARC). ¿Ha cambiado esto?

— ewwhite

Intentaría conectar el SSD directamente a la placa base y ver si eso funciona. Si tiene un X25-M de repuesto, puede intentar reemplazar el actual y ver si el SSD en sí es malo. En el SSD SLC: depende de su nivel de riesgo. Si está ejecutando software en un SLA que nunca puede fallar y tiene que funcionar rápidamente, puede ser más barato comprar un SSD de alta gama.

— Zippy

Estoy tratando de decir que el Intel X25-M ha sido recomendado para L2ARC en la mayoría de los artículos y discusiones que he visto en línea. Si ese ya no es el caso, ¿cuál es el dispositivo preferido?

— ewwhite

@ewwhite: En teoría, una falla de un dispositivo L2ARC no debería ser perjudicial porque ZFS puede simplemente volver a leer en el disco (obviamente, el rendimiento se vería afectado). En la práctica ... bueno, parece que has encontrado un error de controlador ZFS o scsi que se activa por el comportamiento de SSD.

— Tom Shaw

@ewwhite: Probablemente debería darte algunos consejos más prácticos. Si desea generar un volcado por caída del sistema la próxima vez que se trabe el sistema, siga las instrucciones aquí . Este tipo de volcado puede ser útil para los desarrolladores de Illumos.

— Tom Shaw

Ed, hay varios que puedes usar, desde precios relativamente razonables hasta bastante caros. Prefiero implementar SSD de SAS en todos los casos y me ha ido muy bien tanto con STEC como con Pliant. Ambos ahora ofrecen una unidad MLC que funcionará con un dispositivo L2ARC. Todavía no se ha probado, pero próximamente está la oferta de SSD de Seagate que es SLC SAS 2.0 y se rumorea que no es "cara". Manténganse al tanto....

-PB

— PauleyB
fuente