Asesoramiento general sobre una solución de archivo. ~ 15tb y creciendo.

Necesito un mejor sistema de almacenamiento y archivo para los archivos de mi pequeña empresa. Específicamente los archivos son proyectos de video completados. Más allá de las limitaciones de tiempo y costos, lo que me detiene es que no creo en ninguna de las soluciones que he meditado. Por lo tanto, estoy exponiendo el problema y mis pensamientos. Agradecería cualquier opinión.

Presupuesto: creo en gastar lo que se necesita. Dicho esto, somos una pequeña empresa. Espero poder salir de esto por <5k y más alrededor de 1-3k. Eso podría ser un sueño imposible. Solo dime eso.

El problema:

• Los archivos de video sin procesar son enormes en tamaño de archivo. Hemos acumulado probablemente más de 10 tb hasta ahora y eso está creciendo rápidamente.
• La edición de video requiere acceso rápido de lectura / escritura a los archivos, por lo que un servidor de archivos central o basado en la nube no será lo suficientemente rápido. Por lo tanto, probablemente necesitemos una solución exitosa para proyectos antiguos y los proyectos actuales tendrán que permanecer locales.
• Queremos algún tipo de redundancia y solución externa.

Lo que hacemos actualmente:

• Utilizamos discos duros externos grandes y de alta calidad.
• Siempre compramos en pares y duplicamos contenido manualmente. En otras palabras, trabajamos fuera de uno y duplicamos los archivos al otro que sirve como respaldo / respaldo.
• Estos discos duros son lo suficientemente rápidos con firewire800 o USB3 para funcionar directamente.
• Una vez llenos, dejamos la pareja a un lado.

¿Qué tiene de malo la solución actual?

• Aunque los datos se duplican en dos unidades, estas unidades no están "respaldadas" o almacenadas fuera del sitio.
• La organización en estos muchos discos duros externos es difícil. ¿Qué proyecto está en qué unidad? etc.
• Eventualmente vamos a tener una cantidad ridícula de discos duros.
• La duplicación no es RAID.

Opciones:

Un servidor local

• Compre un servidor de montaje en bastidor y un gabinete de matriz de disco duro montado en bastidor, como un Norco, (SAS) (20 bahías).
• Todos los archivos de video se almacenarán en este servidor. Podríamos instalar y pagar un servicio en la nube para hacer una copia de seguridad de esta computadora / servidor. CrashPlan funciona en Linux y no tiene límites sobre la cantidad de datos. Las unidades de disco duro serían unidades físicas conectadas al servidor, de modo que evitamos las reglas de "no NAS" que tienen compañías como CrashPlan. No es una computadora personal, por lo que la sincronización puede ejecutarse 24/7/365. Esto resolvería el problema fuera del sitio.
• En lugar de utilizar un servicio de respaldo en línea como CrashPlan, podríamos escribir un script para sincronizar estos archivos con una cuenta de Amazon Glacier.
• Una política en la que los videos espías funcionan desde discos duros externos para proyectos actuales, pero debe colocar el proyecto en esta nueva computadora cuando se complete. En otras palabras, continúe usando discos duros externos para proyectos actuales y almacene proyectos archivados en este servidor.

Servicios de respaldo basados ​​en la nube (CrashPlan.com, BackBlaze.com, Carbonite.com)

• Por lo general, solo le permite hacer una copia de seguridad de un disco duro externo que está físicamente conectado a una computadora. (sin NAS o unidades de red).
• Por lo general, esperan que una unidad externa respaldada permanezca conectada a su computadora y que todos los datos permanezcan en la unidad. Si no conecta un disco duro externo durante meses, ¿qué sucede con las copias de seguridad? Si limpia el espacio eliminando proyectos antiguos, también se eliminarán del servicio en línea.
• Requiere que nuestros usuarios dejen los discos duros externos conectados a su computadora hasta que todos los datos estén en la nube. Esto puede llevar semanas para un gran proyecto.
• Restaurar un proyecto sería muy lento debido a las velocidades de transferencia de Internet.
• Estas cuentas de respaldo en la nube suelen ser específicas para un usuario / una computadora. Entonces, si un disco duro está respaldado por un usuario. Luego, un segundo usuario trabaja en el proyecto, ¿qué significa eso?

Un gran NAS

• Un NAS es "Almacenamiento de área de red". Usted guarda tantos discos duros como pueda contener. Los asaltará. Puede acceder a esto a través de la conexión de red o tal vez USB3 / Firewire.
• La mayoría tiene un sistema operativo integrado. Por lo tanto, no puede ejecutar otro software como servicios de respaldo basados ​​en la nube. Tampoco puede hacer ninguna personalización o ejecutar su propio software. Obtienes lo que compras.
• Los grandes NAS son bastante caros y no tan grandes. No encontrarás muchos con más de 4 bahías. Actualmente una gran HD es de 3tb. Por lo tanto, 4bays podrían estar alrededor de <12tb de almacenamiento. No súper cómodo para el futuro.

Otras ideas son:

• Copias de seguridad en cinta.
• Simplemente archive los proyectos más antiguos directamente en Amazon Glacier, omita la creación de un servidor local para almacenarlos.

Gracias por cualquier consejo !!! Jed

Cinta. Tan simple como eso. Quantum tiene un sistema SuperSTore que puede manejar mucho más que eso y los he visto por menos de su precio de 5000 - nuevo. Lo bueno es que puede extraer las cintas para almacenarlas, por lo que escalarlas será bastante rentable y las cintas durarán.

Primero, recomendaría evitar Glacier. Suena bien, hasta que reduzca los costos en la restauración de una gran cantidad de datos. Esta es una calculadora no oficial que puede usar para calcular los costos de almacenamiento y recuperación de Glacier, y juzgar por usted mismo . Restaurar terabytes de datos de Glacier es una perspectiva poco atractiva.

En segundo lugar, le aconsejaría que, para fines de copia de seguridad simples, podría salirse con la suya con un único servidor NAS con muchas unidades. Me parece que solo ha mirado las opciones de NAS del hogar y la pequeña oficina, y debería considerar una oferta de NAS adecuada. Al preferir Dell, señalaría los servidores NAS PowerVault de Dell , pero HP, IBM, SuperMicro y casi todos los demás tienen ofertas similares. Tengo un Dell PowerVault NX más antiguo en casa que sirve como mi biblioteca de medios y tiene doce discos SAS de 2 TB de línea cercana. Las unidades SAS nearline de 4 TB también están disponibles en estos días, por lo que siempre puede llenar un servidor NAS adecuado con ellas. (O compre un par de servidores NAS).

Puede usar fácilmente uno de estos en su LAN local, instalar el software de respaldo de su elección ( como Bacula, si lo desea de forma gratuita , o cualquiera de una docena de ofertas comerciales si desea soporte del proveedor) y usar un gran volumen RAID como su objetivo de respaldo. Luego, podría usar un servicio de respaldo en la nube para respaldar este servidor NAS y obtener los beneficios de los respaldos locales y remotos. De nuevo, esto es lo que hago en casa. Servidor NAS adecuado, terabytes de datos respaldados en un servicio en la nube.

Y, por supuesto, también podría usar cinta ... compre una unidad de cinta o biblioteca LTO; personalmente, haré todo lo posible para evitar cintas o discos ópticos, pero son opciones legítimas y pueden ser más baratas que un disco solución a disco.

Finalmente, le sugiero que tenga en cuenta el principal inconveniente de los servicios de copia de seguridad en la nube, que es el tamaño de su canal de Internet. Puede tomar semanas o meses cargar terabytes de datos a través de su conexión a Internet y / o incurrir en tarifas adicionales de su ISP. Entonces, si bien son una opción viable para hacer una copia de seguridad de los datos, incluso de la empresa, esa es una restricción que la mayoría de las personas no consideran hasta que ya la han alcanzado.

Creo que depende de tu presupuesto. Si solo puede gastar ~ $ 6k, probablemente necesite construir su propio NAS. Vería nas4free y lo que le cuesta un servidor. Si puede gastar $ 20k, probablemente pueda llenar un servidor con un montón de disco y una tarjeta RAID decente o RAID de software en Linux o lo que sea.

Por alrededor de $ 40k puede tener un 1U de gama alta (IBM x3550 M4, 2 puertos Emulex 10GBit nic, NIC de 4 Gbit, 128GB RAM, 2 discos SAS locales de 10k) con iSCSI de 10Gbit a una caja Infortrend SAN con 24 discos SAS de 4TB que puede corta y corta en dados como quieras. RAID6 es una configuración razonable.

La cinta también es una buena idea, pero no sé qué tan barata es realmente. Depende de qué tan grande sea una biblioteca. Si una biblioteca de 48 cintas es buena, puede hacerlo nuevamente con una tarjeta SAS externa y 1U por quizás $ 30k y 2 unidades LTO6 ... Pero entonces necesita licencias de software para administrar copias de seguridad en cinta o algo así. Solo he usado NetBackup, lo que probablemente no sea adecuado para ti aquí. Simplemente no olvide que probablemente querrá manejar la biblioteca de cintas de alguna manera en el software. Pero una vez que esté fuera de la biblioteca, no se olvide de buscar la cinta y cargarla, además de un área de preparación para el acceso ...