Corrupción INNODB de MySQL después del bloqueo del servidor durante el comando de truncamiento simultáneo


9

Mi servidor falló hoy, creo que debido a un comando de tabla truncada concurrente en una de nuestras tablas INNODB. El servidor podría reiniciarse, pero después de que se inicia, cada vez que intento emitir un comando SQL, aparece el siguiente error:

ERROR 2006 (HY000): MySQL server has gone away

Esto es lo que sucedió en los registros:

121206 01:11:12  mysqld restarted
121206  1:11:13  InnoDB: Started; log sequence number 275 559321759
InnoDB: !!! innodb_force_recovery is set to 1 !!!
121206  1:11:13 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution
InnoDB: Error: trying to load index PRIMARY for table 
InnoDB: but the index tree has been freed!
121206  1:11:37 - mysqld got signal 11 ;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help diagnose
the problem, but since we have already crashed, something is definitely wrong
and this may fail.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x9900950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x46353fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x9900950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x993e500 =
thd->thread_id=1
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

He buscado en línea y tengo la pista de que es un error de MySQL, pero no tengo idea de cómo solucionarlo. Estoy usando MySQL versión 5.0.95.

Parece que tengo que crear una nueva base de datos y volcar los datos antiguos en la nueva, pero ¿cómo puedo hacer eso si ni siquiera puedo emitir ningún comando SQL al actual?

--- ACTUALIZACIÓN ---
Versión: '5.0.95-log' socket: '/var/lib/mysql/mysql.sock' puerto: 3306 Distribución de origen InnoDB: Error: intentando cargar el índice PRIMARIO para la tabla InnoDB: pero el ¡El árbol de índice ha sido liberado! 121206 4:13:41 - mysqld recibió la señal 11; Esto podría ser porque golpeó un error. También es posible que este binario o una de las bibliotecas con las que se vinculó esté corrupto, mal construido o mal configurado. Este error también puede ser causado por un mal funcionamiento del hardware. Haremos todo lo posible para recopilar información que esperamos ayude a diagnosticar el problema, pero como ya nos hemos estrellado, algo definitivamente está mal y esto puede fallar.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x17fb8950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x464a3fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x17fb8950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x17ff6500 =
thd->thread_id=3
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

Number of processes running now: 0
121206 04:13:41  mysqld restarted
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
121206  4:13:42  InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
121206  4:13:43  InnoDB: Started; log sequence number 275 559323148
121206  4:13:43 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution

Respuestas:


6

ASPECTO # 1

Lo primero que me llamó la atención fue esta línea

InnoDB: Error: intentando cargar el índice PRIMARIO para la tabla /

Esto indica que tiene una tabla que usa el motor de almacenamiento InnoDB

Lo interesante de InnoDB es la forma en que se almacena una CLAVE PRIMARIA. Se almacena en una estructura llamada gen_clust_index , o más comúnmente conocido como el índice agrupado.

Mi suposición inmediata es que cierta entrada de PRIMARY KEY es demasiado grande

Considere algunos artículos sobre lo bueno, lo malo y lo feo del uso de LLAVES PRIMARIAS largas:

luego vea si <DB Hidden>.<Table Hidden>necesita ser rediseñado.

ASPECTO # 2

En términos de su conjetura con respecto a una tabla truncada paralela, eso suena un poco peligroso. ¿Por qué? InnoDB realiza TRUNCATE TABLE como DDLno DML. He escrito sobre esto antes:

ASPECTO # 3

Algunas sugerencias de ajuste

Por favor agregue lo siguiente a my.ini

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0

Comience mysql

En otra sesión, ejecuta tail -f <errorlogfile>y mira InnoDB Crash Recovery.

Si mysql se ha reiniciado por completo y la recuperación del bloqueo de InnoDB se ha completado, intente cerrar mysql inmediatamente. Es posible que deba cambiar el tamaño de sus registros de transacciones de InnoDB.

Perdón por estas sugerencias salvajes, pero estoy volando a ciegas aquí.

Por favor, publique lo siguiente en la pregunta:

  • todo tu my.cnf
  • cuánta RAM hay a bordo

ACTUALIZACIÓN 2012-12-05 12:09 EDT

Por favor haga lo siguiente:

PASO 01) Agregue estos cambios a my.cnf

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0
innodb_thread_concurrency=0

PASO 02) service mysql restart

para asegurarse de que mysql aparece

PASO 03) Debe cambiar el tamaño de ib_logfile0 e ib_logfile1 (24M puede ser demasiado pequeño)

service mysql stop
cd /var/lib/mysql
mv ib_logfile0 ib_logfile0.bak
mv ib_logfile1 ib_logfile1.bak

PASO 04) Agregue estos cambios a my.cnf

[mysqld]
innodb_log_file_size=512M
innodb_log_buffer_size=8M

PASO 05) service mysql start

mysqld recreará ib_logfile0 e ib_logfile1 512M cada uno

Ahora, intenta ver qué pasa ...

ACTUALIZACIÓN 2012-12-05 12:18 EDT

Mientras tanto, lea mi publicación de ServerFault en el paquete mysql y su implicación de dimensionamiento con respecto a innodb_log_file_size e innodb_log_buffer_size como aprendí de la publicación de ServerFault de otra persona .

ACTUALIZACIÓN 2012-12-05 14:28 EDT

Edité todas las referencias a las tablas de clientes fuera de esta pregunta.

La causa raíz fue una página dañada con páginas de ibdata1datos e índices mezcladas en su interior. Ayudé a Andrew a migrar datos, recrear ibdata1 con innodb_file_per_table , y Andrew volvió a cargar los datos.


Gracias por tus comentarios Rolando. Definitivamente voy a reconsiderar la estructura de la clave primaria. Mientras tanto, revisaré sus artículos y veré si puedo hacer que nuestro servidor vuelva a funcionar lo antes posible.
Andrew

Alguna parte de ibdata1 tiene una página dañada. He visto esta condición muchas veces con mis clientes de hosting.
RolandoMySQLDBA


Según lo solicitado, borré todos mis comentarios para ocultar información confidencial.
RolandoMySQLDBA

@RolandoMySQLDBA, ¿podría explicar cómo detectó la causa raíz, es decir, cómo resolvió esto? ¿Y qué pasos tomaste para arreglar esto?
Bhupesh Pant
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.