¿Cómo resolver una compactación mayor atascada en Apache Cassandra?


14

Tengo un clúster Cassandra de un nodo que actualmente está atascado en un importante proceso de compactación. Después de ejecutar un nodetool compact, comenzó la compactación y veo los archivos tmp-sstable con un tamaño de 0 bytes. Pero eso es todo. No hay progreso por horas.

Ya detuve el servicio Cassandra, pero después de un reinicio, continuó la compactación nuevamente sin progreso. A nodetool compactionstatsmuestra un progreso del 0,00% y un tiempo restante de seis minutos. Pero ya esperé 24 horas. Mientras tanto, detuve a todos los lectores y escritores sin ver ninguna diferencia.

La versión que uso es 2.1.2. Ya probé con OpenJDK 7 y con Java 7 de Oracle, pero no hay diferencia.

Los registros no muestran ninguna indicación de OOM ni ninguna otra excepción o advertencia.

No estoy seguro de si es de alguna ayuda, pero actualmente migro lejos de Cassandra ya que no se ajusta a mis necesidades. Así que elimino muchos datos que se han migrado. Hay muchas filas con varios cientos hasta unos pocos miles de columnas. Pero hay un puñado de filas con un millón de columnas. Ahora tienen muchas lápidas en ellas debido al proceso de migración (eliminación).

Cualquier ayuda sobre cómo depurar el problema es bienvenida.


solo una idea, ¿ha visto / var / log / syslog o dónde se registraría algo así como muchos archivos abiertos / VM maxmem?
Antony Gibbs

@AntonyGibbs Nada de eso. Es un servidor físico sobrecargado. Otros servicios funcionan sin problemas al lado de Cassandra.
mailq

1
¿Ha verificado si el proceso está vinculado a la CPU, a la E / S o bloqueado en espera de algo más?
kasperd

1
¿Cuáles son las configuraciones de la máquina virtual Java lanzada? podría ser un servidor poderoso, si la instancia de Java está limitada a 128M, no obtendrá más. El sonido de nada en los registros me hace pensar que la memoria limita ...
Antony Gibbs

1
la salida de ulimit -auna consola de usuario de Cassandra puede ser útil.
Antony Gibbs

Respuestas:


1

No soy un experto en cassandra, pero ¿ probaste la compactación de detención de herramientas de nodo y estableciste un umbral para la compactación (establece el umbral de compactación en 0), para que el sistema no lo vuelva a intentar


parada de nodetool - COMPACTACIÓN No ayudó. Los trabajos aún continúan.
Jigar Shah

@JigarShah ¿La misma pregunta que el OP? tal vez deberías hacer una nueva pregunta para atraer una nueva respuesta. Como tal vez mi solución no te ayuda, pero ayudó al OP
yagmoth555
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.