¿El fragmentación es efectivo para colecciones pequeñas?

Parece que el fragmentación de la base de datos es excelente si tengo grandes colecciones. ¿Qué pasa si tengo muchas colecciones de tamaño considerable? Digamos que para 1 colección de 100 000 000 de documentos (comentarios no muy grandes) el fragmentación es efectivo. ¿También es efectivo para 10 000 colecciones con 10 000 documentos cada una?

(Creo que esta pregunta sigue siendo válida para bases de datos orientadas a tablas si reemplaza colecciones con tablas y documentos con filas. Si es posible, me gustaría saber la respuesta teórica, así como la respuesta en el escenario específico de MongoDB, si es diferente de la teórica responder.)

¿También es efectivo para 10 000 colecciones con 10 000 documentos cada una?

La mayoría de las personas tiene el problema de la "colección grande única", por lo que el fragmentación es claramente útil para reducir los dolores de cabeza de equilibrar estos datos.

Sin embargo, cuando tiene 10.000 colecciones pequeñas, su dolor de cabeza probablemente no esté "equilibrando los datos". Con tantas colecciones pequeñas, es probable que su problema sea rastrear estas colecciones. Dependiendo del tamaño de su documento, es posible que ni siquiera rompa el límite inferior para que ocurra el fragmentación.

Para las colecciones realmente pequeñas, puede usar el comando movePrimary poco conocido para administrar la ubicación de sus datos.

Por supuesto, la otra forma de ver esto es ¿por qué tienes 10k colecciones? Una colección no necesita objetos homogéneos y con 10k colecciones, la mayoría de ellas tienen que ser generadas. Es bastante posible almacenar diferentes "tipos" de datos en la misma colección, reducir el número de colecciones y luego incluir el tipo como parte de la clave de fragmento.

El fragmentación de MongoDB funciona al dividir una colección en "fragmentos" más pequeños y distribuirlos uniformemente en varias máquinas. El tamaño de fragmento predeterminado, que generalmente es el más eficiente, es de 200 MB. Entonces, a menos que una colección crezca mucho más de 200 MB, no se dividirá en trozos y, por lo tanto, no será elegible para fragmentación, por lo que no habrá beneficios.

En el caso general, compartir datos en varias máquinas es una forma muy efectiva de escalar lecturas, escrituras y consultas. Obtiene los beneficios de múltiples CPU, discos duros y almacenamiento de memoria, trabajando en paralelo para leer, escribir y procesar datos. Escalar la memoria es particularmente importante para MongoDB, donde el alto rendimiento es muy sensible al ajuste de datos en la memoria.