¿Cómo los servicios con grandes tasas de ingesta instalan suficientes discos duros lo suficientemente rápido?

Amazon, Facebook y Google deben tomar TB si no PB por día, por lo que eso significa que tienen personas que continuamente instalan nuevos discos duros y cables en nuevos bastidores de la misma manera que construirían un servidor normal, o si se utiliza una tecnología diferente para conectar unidades en masa?

No sé si alguno de ellos está realmente instalando hardware de un servidor a la vez. En 2008, MS comenzó a construir sus centros de datos al entregar servidores en contenedores de envío sellados y precableados de servidores que solo necesitaban descargar de un camión y conectar las conexiones de alimentación / red. Si bien la compilación 08 fue una mezcla de contenedores y tradicional para su centro de datos más reciente , desde entonces han pasado a un diseño prefabricado personalizado que es resistente a la intemperie y no necesita ser alojado dentro de edificios separados.

Tanto HP como IBM venden paquetes similares con contenedores preconstruidos llenos de servidores que solo necesitan conexiones de alimentación / datos para desplegarse.

Google tiene varias tecnologías que desarrollaron internamente para almacenar estas enormes masas de datos. Al usar estas tecnologías, en realidad pueden agregar cargas de camiones de discos duros en su clúster sin ningún tiempo de inactividad, pero sí, todavía necesitan personas que lo hagan.

Hasta donde sé por el Blog de Google, las dos partes principales son el Sistema de archivos de Google, que es un sistema de archivos distribuido que puede escalar a gran escala: el Sistema de archivos de Google

Y en la parte superior del Sistema de archivos de Google tienen Big Table, que es una especie de base de datos de valor clave y también se escala a grandes escalas: Big Table

Para garantizar una alta disponibilidad, todo es redundante muchas veces, más de 3 veces en la mayoría de los casos.

Eso es exactamente correcto. Recuerdo que en un momento, los centros de datos de Facebook estaban agregando tres tractocamiones llenos de discos duros y servidores de montaje en bastidor en el día promedio. Por supuesto, tienen esquemas complicados para hacer que el almacenamiento sea escalable y redundante. Google, por ejemplo, tiene GFS . Facebook tiene tres centros de datos solo para su equipo, cada uno más grande que dos Wal-Marts y uno nuevo planeado cuatro veces más grande que sus centros existentes.

Con las soluciones de almacenamiento Open Compute de nueva generación capaces de acomodar 180 TB de disco en 4 unidades de rack, un PB no es realmente una gran cantidad de espacio: agregar 1 PB al día significaría acumular 5 de esos servidores al día, no es un gran problema. Mejor aún, se pueden obtener por alrededor de $ 10K, lo que significa que está pagando menos de $ 60 por TB.

Entonces, sí, la tecnología está disponible para que todos hagamos lo mismo, a un precio que no rompa el banco.

Pero debe tener en cuenta que las compañías más grandes siempre obtienen un mejor trato y firman grandes contratos para obtener grandes cantidades de almacenamiento. Pueden recibir pequeños envíos a lo largo del año, pero no es que ordenen solo 1 PB a la vez.

Aquí hay una publicación de blog interesante de BackBlaze sobre cómo hacen esto (probablemente no necesitan tantos discos como Google o Facebook, pero aún así todo), y lo que tenían que hacer cuando hubo inundaciones en Tailandia que hicieron un disco duro caro y más difícil de conseguir:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/