¿Por qué no puedo crear este volumen gluster?

Estoy configurando mi primera instalación de Gluster 3.4 y todo está bien hasta que quiera crear un volumen replicado distribuido.

Tengo 4 servidores 192.168.0.11, 192.168.0.12, 192.168.0.13 y 192.168.0.14.

Desde 192.168.0.11 corrí:

gluster peer probe 192.168.0.12
gluster peer probe 192.168.0.13
gluster peer probe 192.168.0.14

En cada servidor tengo un volumen de almacenamiento montado en / export / brick1

Luego corrí en 192.168.0.11

gluster volume create gv0 replica2 192.168.0.11:/export/brick1 192.168.0.12:/export/brick1 192.168.0.13:/export/brick1 192.168.0.14:/export/brick1

Pero me sale el error:

volume create: gv0: failed: Host 192.168.0.11 is not in 'Peer in Cluster' state

Efectivamente, si ejecuta el estado de par de Gluster, muestra 3 pares con los otros hosts conectados. es decir, número de pares: 3

Nombre de host: 192.168.0.12 Puerto: 24007 Uuid: bcea6044-f841-4465-88e4-f76a0c8d5198 Estado: igual en el clúster (conectado)

Nombre de host: 192.168.0.13 Puerto: 24007 Uuid: 3b5c188e-9be8-4d0f-a7bd-b738a88f2199 Estado: igual en el clúster (conectado)

Nombre de host: 192.168.0.14 Puerto: 24007 Uuid: f6f326eb-0181-4f99-8072-f27652dab064 Estado: igual en el clúster (conectado)

Pero, desde 192.168.0.12, el mismo comando también muestra 3 hosts y 192.168.0.11 es parte de él. es decir

Number of Peers: 3

Hostname: 192.168.0.11
Port: 24007
Uuid: 09a3bacb-558d-4257-8a85-ca8b56e219f2
State: Peer in Cluster (Connected)

Hostname: 192.168.0.13
Uuid: 3b5c188e-9be8-4d0f-a7bd-b738a88f2199
State: Peer in Cluster (Connected)

Hostname: 192.168.0.14
Uuid: f6f326eb-0181-4f99-8072-f27652dab064
State: Peer in Cluster (Connected)

Entonces 192.168.0.11 es definitivamente parte del clúster.

La pregunta es, ¿por qué no puedo crear el volumen en el primer servidor Gluster cuando ejecuto el comando Gluster? ¿Es este comportamiento normal o algún tipo de error?

Estaba viendo un oscuro mensaje de error sobre un socket no conectado con el par 127.0.0.1.

[2013-08-16 00: 36: 56.765755] W [socket.c: 1494: __ socket_proto_state_machine] 0-socket.management: la lectura del socket falló. Error (el punto final de transporte no está conectado), igual (127.0.0.1:1022)

Resulta que el problema que estaba teniendo era debido a NAT. Intenté crear servidores Gluster que estaban detrás de un dispositivo NAT y usar la IP pública para resolver los nombres. Esto simplemente no funcionará correctamente para la máquina local.

Lo que tenía era algo así como lo siguiente en cada nodo.

Un archivo de hosts que contiene

192.168.0.11  gluster1
192.168.0.12  gluster2
192.168.0.13  gluster3
192.168.0.14  gluster4

La solución fue eliminar primero a los pares de confianza

sudo gluster peer detach gluster2
sudo gluster peer detach gluster3
sudo gluster peer detach gluster4

Luego cambie el archivo de hosts en cada máquina para que sea

# Gluster1
127.0.0.1     gluster1
192.168.0.12  gluster2
192.168.0.13  gluster3
192.168.0.14  gluster4

# Gluster2
192.168.0.11  gluster1
127.0.0.1     gluster2
192.168.0.13  gluster3
192.168.0.14  gluster4

etc.

Luego sondear entre pares y finalmente crear el volumen que tuvo éxito.

Dudo que el uso de direcciones IP (las públicas) funcione en este caso. Debería funcionar si usa las direcciones privadas detrás de su NAT. En mi caso, cada servidor estaba detrás de un NAT en la nube de AWS.

Intente definir explícitamente el recuento de réplicas como cuatro nodos con este formato:

gluster volume create NEW-VOLNAME [stripe COUNT] [replica COUNT] [transport <tcp | rdma>] NEW-BRICK ...

Supongo que esta réplica pura y sin rayas?

intente esto desde 192.168.0.11: -

separa todo primero:

sudo gluster peer detach 192.168.0.12
sudo gluster peer detach 192.168.0.13
sudo gluster peer detach 192.168.0.14

siguiente re-agregar en este formato

gluster volume create gv0 replica 4 transport tcp 192.168.0.11:/export/brick1 192.168.0.12:/export/brick1 192.168.0.13:/export/brick1 192.168.0.14:/export/brick1

Tenga en cuenta que he definido explícitamente este conjunto de réplicas de cuatro nodos. También definí explícitamente el transporte a través de TCP .

si desea dividir en dos dispositivos en un conjunto de réplicas, usaría algo como esto:

gluster volume create gv0 stripe 2 replica 2 transport tcp 192.168.0.11:/export/brick1 192.168.0.12:/export/brick1 192.168.0.13:/export/brick1 192.168.0.14:/export/brick1

Siga con esto, descubrí Gluster recientemente y estoy enamorado de esta ideología para sistemas de archivos distribuidos ... una verdadera obra de arte.

Uso gluster para proporcionar redundancia HA a almacenes de datos virtuales KVM. cosas mágicas