Configuración del disco Hadoop JBOD en el controlador de disco HP Smart Array 410 / i

8

Estoy en una fase de evaluación de algunos hw que podrían usarse para configurar un clúster hadoop. Este hw está restaurado (servidores hp G6 con controlador Smart Array 410 / i) y probablemente deberíamos / debemos usarlo ... todavía no lo tenemos. He leído que el controlador 410 / i no permite una configuración JBOD como lo requiere hadoop, ¿hay alguien que pueda confirmar esta declaración? O no ? Parece que una solución podría ser configurar raid0 en cada disco, de nuevo, ¿alguien lo confirma o hay otras formas de configuración? Gracias Rob

— nysalsa
fuente

7

El controlador Smart Array 410 / i solo permite crear 2 dispositivos de incursión sin la tarjeta de memoria opcional añadida. Entonces, si su hardware solo tiene 2 unidades, entonces estaría bien; puedes hacer 2 raid0's. Si tiene más de 2 unidades, probablemente tendrá que comprar el número de parte 462974-001: módulo de memoria BBWC de caché de escritura con respaldo de batería de 256 MB. Si no está seguro, pruébelo en la utilidad de configuración, se quejará de que hay un límite en la cantidad de dispositivos de raid configurados permitidos si necesita comprar el complemento de memoria.

Recientemente configuré un servidor ZFS utilizando uno de esos y 12 discos en modo RAID0 para cada uno y funciona bien. Como puede deshabilitar casi todas las funciones del controlador de banda real, es efectivamente el mismo que el modo JBOD.

— Erik
fuente

44

Si bien puede crear múltiples RAID 0 en ese controlador para usar con ZFS, tendrá un problema si falla un disco. ZFS no reconocerá el reemplazo a menos que reinicie.

— ewwhite

4

Esta situación es similar a la que encuentro al diseñar hardware para soluciones de almacenamiento ZFS. ZFS es un RAID de software y aprovecha los recursos del servidor para la administración del disco. No se recomienda RAID de hardware, y JBOD no es realmente posible con los controladores Smart Array. Entonces, cuando uso los sistemas ProLiant para ZFS, reemplazo el controlador Smart Array con algo que tenga un modo JBOD o un HBA SAS / SATA básico.

Por lo general, este será un HBA SAS LSI (sin características RAID). Mi preferencia es el LSI 9211-8i o 9205e.

Consulte las recomendaciones en: Recomendaciones del controlador ZFS SAS / SATA

— ewwhite
fuente

0

Si bien el rango Pxxx no permite la configuración directa de JBOD si solo crea una matriz en todos sus discos y luego crea múltiples matrices RAID0 de los tamaños equivalentes, entonces está prácticamente allí en términos de similitud funcional. Dicho esto, también dudo un poco de los requisitos de Hadoop, en primer lugar, no hay forma de saber cuál es la configuración real del disco, ya que está oculto por el BIOS y, en segundo lugar, porque parece demasiado prescriptivo dado lo bien pensado que están los controladores de HP, ¿qué es? ¿Cuál es el problema con la matriz que administra sus discos?

— Chopper3
fuente

3

Gracias por la respuesta, HDFS (sistema de archivos Hadoop) tiene redundancia incorporada al replicar bloques en múltiples nodos. RAID 0 es más lento que la configuración JBOD utilizada por HDFS porque la E / S está limitada por la velocidad del disco más lento en la matriz RAID La E / S en JBOD es independiente, por lo que la velocidad promedio es mayor que la del disco más lento. La prueba realizada por Yahoo mostró que JBOD funciona mejor que RAID 0: markmail.org/message/xmzc45zi25htr7ry

— nysalsa

0

Puede configurar RAID0 por disco físico disponible.

Digamos que si tienes 8 discos, entonces terminas teniendo algo así (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)

— sl0n
fuente

1

No hagas esto. Pierde las capacidades de intercambio en caliente y tendrá problemas de enumeración de dispositivos de bloqueo de unidad lógica. Un disco fallido == unidad lógica fallida == nuevo dispositivo creado al reemplazarlo.

— ewwhite

1

¿Las "capacidades de intercambio de instrucciones"? ¿Quiere decir que no podré reemplazar un disco defectuoso en modo "en línea", es decir, tendría que apagar mi servidor antes de reemplazar el disco defectuoso? Con respecto a la enumeración del dispositivo, voy a verificar eso, creo que es un punto justo.

— sl0n