Mesa grande
Un sistema de almacenamiento distribuido para datos estructurados
Bigtable es un sistema de almacenamiento distribuido (creado por Google) para administrar datos estructurados que está diseñado para escalar a un tamaño muy grande: petabytes de datos en miles de servidores básicos.
Muchos proyectos en Google almacenan datos en Bigtable, incluida la indexación web, Google Earth y Google Finance. Estas aplicaciones imponen demandas muy diferentes a Bigtable, tanto en términos de tamaño de datos (desde URLs a páginas web hasta imágenes satelitales) como requisitos de latencia (desde el procesamiento masivo de back-end hasta el servicio de datos en tiempo real).
A pesar de estas demandas variadas, Bigtable ha proporcionado con éxito una solución flexible y de alto rendimiento para todos estos productos de Google.
Algunas caracteristicas
- DBMS rápido y extremadamente grande
- un mapa ordenado multidimensional distribuido y escaso, que comparte características de bases de datos orientadas a filas y columnas.
- diseñado para escalar en el rango de petabytes
- funciona en cientos o miles de máquinas
- es fácil agregar más máquinas al sistema y comenzar a aprovechar automáticamente esos recursos sin ninguna reconfiguración
- cada tabla tiene múltiples dimensiones (una de las cuales es un campo de tiempo, que permite el control de versiones)
- las tablas se optimizan para GFS (Sistema de archivos de Google) al dividirse en varias tabletas: segmentos de la tabla divididos a lo largo de una fila elegida de modo que la tableta tenga un tamaño de ~ 200 megabytes.
Arquitectura
BigTable no es una base de datos relacional. No admite combinaciones ni admite consultas ricas en SQL. Cada tabla es un mapa disperso multidimensional. Las tablas consisten en filas y columnas, y cada celda tiene una marca de tiempo. Puede haber múltiples versiones de una celda con diferentes marcas de tiempo. La marca de tiempo permite operaciones como "seleccionar 'n' versiones de esta página web" o "eliminar celdas que son anteriores a una fecha / hora específica".
Para administrar las tablas enormes, Bigtable divide las tablas en los límites de las filas y las guarda como tabletas. Una tableta tiene alrededor de 200 MB, y cada máquina ahorra alrededor de 100 tabletas. Esta configuración permite que las tabletas de una sola tabla se distribuyan entre muchos servidores. También permite un equilibrio de carga de grano fino. Si una tabla recibe muchas consultas, puede eliminar otras tabletas o mover la tabla ocupada a otra máquina que no esté tan ocupada. Además, si una máquina se cae, una tableta puede extenderse a muchos otros servidores para que el impacto en el rendimiento de cualquier máquina sea mínimo.
Las tablas se almacenan como SSTables inmutables y una cola de registros (un registro por máquina). Cuando una máquina se queda sin memoria del sistema, comprime algunas tabletas usando técnicas de compresión patentadas por Google (BMDiff y Zippy). Las compactaciones menores involucran solo unas pocas tabletas, mientras que las compactaciones mayores involucran todo el sistema de tablas y recuperan espacio en el disco duro.
Las ubicaciones de las tabletas Bigtable se almacenan en celdas. La búsqueda de cualquier tableta en particular se maneja mediante un sistema de tres niveles. Los clientes obtienen un punto en una tabla META0, de la cual solo hay una. La tabla META0 realiza un seguimiento de muchas tabletas META1 que contienen las ubicaciones de las tabletas que se buscan. Tanto META0 como META1 hacen un uso intensivo de la captación previa y el almacenamiento en caché para minimizar los cuellos de botella en el sistema.
Implementación
BigTable se basa en el Sistema de archivos de Google (GFS), que se utiliza como almacén de respaldo para archivos de registro y datos. GFS proporciona almacenamiento confiable para SSTables, un formato de archivo propiedad de Google que se utiliza para conservar los datos de la tabla.
Otro servicio que utiliza BigTable es Chubby , un servicio de bloqueo distribuido confiable y de alta disponibilidad. Chubby permite a los clientes tomar un candado, posiblemente asociándolo con algunos metadatos, que puede renovar enviando mensajes vivos a Chubby. Los bloqueos se almacenan en una estructura de nomenclatura jerárquica similar a un sistema de archivos.
Existen tres tipos de servidores principales de interés en el sistema Bigtable:
- Servidores maestros: asigne tabletas a servidores de tableta, realice un seguimiento de dónde se encuentran las tabletas y redistribuya las tareas según sea necesario.
- Servidores de tabletas: manejan solicitudes de lectura / escritura para tabletas y tabletas divididas cuando exceden los límites de tamaño (generalmente 100 MB - 200 MB). Si un servidor de tableta falla, entonces 100 servidores de tableta recogen 1 tableta nueva y el sistema se recupera.
- Servidores de bloqueo: instancias del servicio de bloqueo distribuido Chubby. Muchas acciones dentro de BigTable requieren la adquisición de bloqueos, incluida la apertura de tabletas para escribir, lo que garantiza que no haya más de un maestro activo a la vez y la verificación del control de acceso.
Ejemplo del trabajo de investigación de Google:
Una porción de una tabla de ejemplo que almacena páginas web. El nombre de la fila es una
URL invertida . La familia de columnas de contenido contiene el contenido de la página , y la familia de columnas de ancla contiene el
texto de cualquier ancla que haga referencia a la página. La página de inicio de CNN está referenciada por las páginas de inicio de Sports Illustrated y MY-look, por lo que la fila contiene columnas con el nombre
anchor:cnnsi.comy
anchor:my.look.ca. Cada celda de anclaje tiene una versión ; la columna de la contenidos tiene tres versiones , en las marcas de tiempo
t3, t5y t6.
API
Las operaciones típicas de BigTable son la creación y eliminación de tablas y familias de columnas, la escritura de datos y la eliminación de columnas de una fila. BigTable proporciona estas funciones a los desarrolladores de aplicaciones en una API. Las transacciones son compatibles a nivel de fila, pero no a través de varias claves de fila.
Aquí está el enlace al PDF del trabajo de investigación .
Y aquí puede encontrar un video que muestra a Jeff Dean de Google en una conferencia en la Universidad de Washington , que discute el sistema de almacenamiento de contenido Bigtable utilizado en el backend de Google.
