¿Cuál es la forma más segura y menos costosa de almacenar 10 terabytes de datos?

Soy miembro de una productora y nos estamos preparando para nuestro primer largometraje. Hemos estado discutiendo métodos de almacenamiento de datos para mantener todo nuestro contenido original seguro (durante el mayor tiempo posible). Si bien entendemos que los datos nunca son 100% seguros, nos gustaría encontrar la solución más segura para nosotros.

Hemos considerado:

• NAS de 16 TB para almacenamiento en el sitio

• 4-5 discos duros de 2TB (baratos, pero no redundantes), copie el metraje original en las unidades y luego selle en una bolsa libre de estática

• Grabar datos en discos Blu-Ray (lento y costoso: 200 discos = $ 5000)

• Unidad (es) de cinta?

Sé lo menos sobre las unidades de cinta, excepto el hecho de que son más confiables que los discos. Cualquier experiencia / conocimiento con esta cantidad de datos es muy apreciada.

Esto supone que está buscando un archivo en lugar de una copia de seguridad regular o datos en vivo.

Elija un conjunto de discos duros SATA (1 o 2 TB), más algunos extras. Copie sus datos en los discos. Use QuickPar (o un archivador que admita volúmenes de paridad) para crear archivos de paridad adicionales. Distribuya archivos de paridad entre sus discos duros.

La información de paridad le permitirá reconstruir archivos si le quedan suficientes archivos de paridad. Entonces, si un disco muere pero otros discos con información de paridad aún funcionan, puede usar los archivos de paridad para reconstruir el original.

Para obtener más redundancia, hágalo todo dos veces y guárdelo en ubicaciones separadas.

Si eres realmente paranoico, ¡almacena un PCI y PCI Express en el controlador SATA en cada sitio también!

Editar: ¡Diablos, si de eso se trata la paranoia, ve a por todas partes y almacena una PC con Gigabit Ethernet en cada sitio capaz de leer los discos!

Las unidades LTO4 que utilizamos pueden acumular 800 GB por cinta. La desventaja es el costo de las unidades en sí. Si rechazó los $ 5K por discos Blu-Ray, no le va a gustar el costo de LTO4. Por otro lado, los cartuchos en sí son bastante baratos por GB, por lo que puede guardar muchas copias. Estas cintas tienen una buena vida útil, pero debe planear moverlas a nuevos medios a medida que reemplaza su unidad de cinta. Por cómo describe cómo va a utilizar este almacenamiento, no creo que la cinta sea una buena opción. No, a menos que sea una solución de respaldo en lugar de una solución de archivo . Diferentes problemas

Es posible que desee considerar algún tipo de proveedor de respaldo basado en la nube para esto, si su cambio neto diario es lo suficientemente pequeño. Por supuesto, esto depende de qué tan robusta sea su conexión a Internet, y restaurarla podría ser igualmente doloroso. Estos servicios son bastante nuevos, por lo que se desconoce cómo manejan el problema de bancarrota de sus datos; ¿Qué pasa si se van a la quiebra?

El almacenamiento en disco local es definitivamente un camino a seguir. Un gabinete de unidades con unidades fácilmente intercambiables es probablemente su mejor opción teniendo en cuenta sus limitaciones de costos. Si puedes vivir con esos datos sin conexión, entonces hazlo. Los discos son baratos y las cajas de discos son más baratas que las unidades de cinta. Menos partes móviles.

Supongo que necesita esto para el archivo, no para el uso activo en una función de video. Si es así, ese es un problema de almacenamiento diferente.

En su investigación de NAS, ¿ha analizado los dispositivos de almacenamiento autogestionados DroboPro o DroboElite ?

Considere cuál sería el costo si perdiera parte / todo su material de archivo y su presupuesto en consecuencia;)

¿Has considerado los servicios alojados? No estoy seguro de cómo pesa el precio, pero es posible que desee considerar un servicio de alojamiento que venda almacenamiento masivo. Tal vez AWS ?

De ocho a diez discos duros de 2 TB; hacer dos juegos Almacenar como ya se mencionó, por separado ...

Me mantendría alejado de la cinta, ya que es mucho más sensible a las condiciones en que se almacena que los discos; Además, dentro de cinco años, las probabilidades son buenas de que todavía pueda conectar una unidad SATA a algo, pero es posible que no pueda acceder a una unidad de cinta que pueda leer sus cintas.

Los ópticos serían los mejores en términos de estabilidad a largo plazo, pero, como usted menciona, los costos y la logística los hacen poco prácticos.

Recomendaría tener algún tipo de NAS / RAID para archivos en vivo con los que trabajas con frecuencia. Si va a utilizar unidades de gran capacidad, es posible que desee utilizar un RAID-6 o similar que, como un repuesto dinámico RAID-5 +, le permita fallar dos discos antes de que su RAID se degrade, pero a diferencia de la configuración de repuesto dinámico su segundo disco adicional también tendrá paridad, por lo que la incursión no necesita reconstruir la paridad al repuesto en caso de falla. Con las unidades cada vez más grandes, hay una mayor probabilidad de fallar una unidad durante una reconstrucción, por lo que tener tanta paridad en vivo como sea posible es bueno.

Además de esto, recomendaría usar discos duros como unidades de cinta. En estos días, incluso se pueden comprar cajas de discos duros (también estos ) que le permiten archivar unidades para archivarlas. Puede volcar archivos en el RAID y luego hacer copias de archivo adicionales en las unidades que se archivarán.

Algunas casas de producción de video como Pixel Corps usan configuraciones similares.

Además, recomendaría almacenar archivos en más de una ubicación (no bajo el mismo techo). Además, definitivamente sigue el mantra de "si no está escrito en al menos dos lugares, aún no lo has guardado". Además, RAID no cuenta como una copia de seguridad en sí misma.

Voy a suponer que esto es en gran parte para el almacenamiento de tipo de copia de seguridad fuera de línea: fácilmente creado y restaurado, pero no muy utilizado en las operaciones diarias.

Las unidades de 2 TB se pueden obtener por alrededor de $ 140 en estos días. Entonces, para 10 TB, 5 unidades, $ 700. Calcule alrededor de $ 400 para construir un servidor de baja potencia en torno al que ejecuta Debian o Ubuntu o algún otro sabor de Linux. Si obtiene un sistema con múltiples NIC puede vincularlas interfaces de red juntas (potencialmente, creo que necesita un conmutador administrado que admita trunking) aumentar el ancho de banda disponible que tiene el servidor y proteger contra fallas de NIC. Luego puede exponer el almacenamiento a través de samba, NFS o algún otro método a las estaciones de trabajo que necesitan usarlo. Para este gran volumen de datos, es probable que desee algún tipo de redundancia para que cuando (no si) una de estas unidades lo muerde, no se quede sin sus datos. RAID5 no es una buena idea aquí, por varias razones, pero RAID10 cumple los requisitos. Como el servidor ejecuta Linux, puede usar mdadm para administrar la matriz RAID. Necesitarás duplicar la cantidad de dispositivos físicos para hacer esto, por lo que tienes hasta 10 unidades. Costo total de este servidor de almacenamiento:

Si realmente ama sus datos, (¡si se trata de datos de producción realmente importantes, debería hacerlo!), Podría construir un servidor duplicado y hacer una copia de seguridad de la copia de seguridad. Puede hacer esto con un crontab rsync, que puede ser terriblemente lento, una solución de tubería netcat / tar , que sería más seguro, o configurar los dispositivos de ataque como la base de un dispositivo drbd . Con el almacenamiento duplicado en ambas máquinas automáticamente, usted (esencialmente) garantiza tener copias de seguridad redundantes de los datos. Usted puede conseguir aún más elegante y establecer un latido del corazón del sistema de conmutación por error a disponibilidad garantía de su volumen de datos.

Almacenamiento conectado a la red Buffalo TeraStation III de 8 TB - £ 1,085.56

enlace amazon.co.uk

Tengo una versión de 1 tb de terastation que he actualizado a 4 tb, funciona perfectamente en RAID5 para mí. Puede comprar una versión más pequeña y actualizarla usted mismo para ahorrar algo de dinero, o comprar varias estaciones de servicio, etc.

No sé mucho acerca de las unidades de cinta ni la semántica del almacenamiento de datos en cinta, por lo que no puedo ayudarlo allí. Dado el costo prohibitivo de usar bluray como una copia de seguridad a escala masiva, me quedaría con un NAS o unidades individuales.

Una cosa a tener en cuenta con NAS / Raid es que, si bien pueden almacenar una cantidad considerable de información en una sola unidad virtual ... tienes que mantener todas las unidades juntas, y RAID generalmente no es una gran opción a largo plazo " solución de respaldo. Corre el potencial de perder más de una unidad, perdiendo el dispositivo NAS en sí (y rara vez hay garantías de que un dispositivo de reemplazo pueda leer datos de las unidades, incluso si es un dispositivo "idéntico").

Dado lo radicalmente baratos que son los discos duros en estos días y su estabilidad general, optaría por unidades individuales. Puede obtener fácilmente 10 unidades de 2Tb por un pequeño costo (quizás $ 1200 - $ 1500) y generar dos conjuntos de copias de seguridad. Obtiene una copia de seguridad de sus datos fuera de línea y redundante, sin los riesgos involucrados con RAID o un dispositivo NAS. Las unidades individuales también ofrecen un mayor rango de compatibilidad, ya que es poco probable que SATA vaya a algún lado pronto.

Si realmente quiere asegurarse de no perderlo, quiere al menos dos opciones de archivo. Probablemente cintas y discos duros. Hacer solo una copia sin alguna forma de redundancia es solo otra forma de tirar los dados de datos.

Dependiendo de las necesidades de almacenamiento, si está buscando hacer una copia de seguridad de estaciones de trabajo individuales, mire una base de almacenamiento externo Thermaltake BlacX para unidades SATA extraíbles. Admiten conexiones externas USB y SATA. Simplemente deje caer la unidad en el muelle, copie los datos y tendrá una copia de seguridad.

Tengo muelles en casa y en el trabajo. Realizo copias de seguridad en cada ubicación y las llevo a la otra ubicación para el almacenamiento fuera del sitio. También tengo una unidad de memoria virtual para mover el trabajo en progreso entre ubicaciones.

Los muelles cuestan aproximadamente $ 60.00 cada uno y puede obtener unidades de 1.5TB por menos de $ 100.

Josh, no has dejado claro si se trata de datos de trabajo o datos de archivo. Si los datos son valiosos, no existe una diferencia real entre la copia de seguridad y el archivo, solo donde se almacena, es decir, en su sistema de trabajo o sistema de archivo. Nuevamente, si los datos son valiosos, su sistema de trabajo y sistema de archivo serán idénticos si desea proteger los datos y observar las reglas de copia de seguridad.

El archivo se aplica más al tipo de medio que lo que está almacenado en él. El archivo implica que los datos nunca cambiarán, es decir, Escrito una vez y Leído muchas veces, comúnmente llamado WORM. Las unidades WORM suelen ser cintas, pero cosas como RDX Quikstor y RDX Quikstation (estación RDX de 8 compartimentos) tienen la opción WORM para unidades específicas para que no se puedan sobrescribir. Sospecho que la RDX Quikstation puede adaptarse a su archivo.

Recuerde que un sistema de archivo es parte de un plan de respaldo. Nunca debe considerar tener solo una copia de los datos.

Algunas reglas de respaldo son:

3-2-1 Regla.

Tres (3) copias de sus datos. Una (1) fuente y dos (2) copias de seguridad en dos medios diferentes, uno (1) de los cuales se mantiene fuera del sitio.

Ejemplos: servidor en el sitio respaldado en el NAS in situ y respaldado fuera del sitio en cinta o RDX. Servidor en el sitio respaldado en el NAS in situ, y respaldado fuera del NAS. Servidor en el sitio respaldado en el NAS en el sitio y replicado en tiempo real en el NAS fuera del sitio. Su copia de seguridad en el sitio debe ser un disco.

Medios de comunicación:

Su copia de seguridad externa depende del tiempo. Hacer copias de seguridad fuera de las instalaciones en medios portátiles introduce retrasos de forma automática. es decir, el respaldo nocturno del lunes se lleva fuera del sitio el martes por la noche. Si tiene un desastre antes del cierre del martes, pierde dos días. Cuánto puede permitirse perder depende completamente de su negocio y la frecuencia de cambio de datos.

Almacén de datos:

Observe completamente las reglas para el almacenamiento de medios. Algunas cintas requieren que las almacene verticalmente entre rangos estrechos de temperatura y humedad, lejos de fuentes de campos magnéticos. Dejar caer una cinta reducirá su fiabilidad. Enviar cintas a casa con la chica de la oficina en su bolso de mano junto a su teléfono móvil es un desastre a la espera de que suceda. Las cintas también requieren hasta dos horas en el entorno de copia de seguridad antes de insertarse en la unidad, igualan la temperatura y la humedad entre la cinta y la unidad de cinta. Las cintas también deben descartarse y reemplazarse en el tiempo requerido / intervalos de escritura.

Personalmente, por estas razones, no me gusta la cinta. El costo no es pequeño y tampoco lo es el hecho de que alguien lo administre. Invertir en cinta pero no seguir las reglas no tiene sentido. Puede hacerlo a bajo precio, pero la fiabilidad cae.

Eliminar puntos únicos de falla:

No difunda los datos de respaldo en múltiples medios. Por ejemplo, la copia de seguridad completa en una cinta y los diferenciales en otras 6 cintas han multiplicado su riesgo de pérdida de datos 7 veces. Si tengo una copia de seguridad, me gusta que contenga todos los archivos necesarios para restaurar los datos. Es mejor tener 7 copias de seguridad completas.

En cierto modo, la incursión cuenta como múltiples medios. Donde sea que use RAID, asegúrese de que tenga conmutación por error automática. Tenga al menos una unidad de repuesto en un compartimento para unidades como repuesto dedicado de intercambio en caliente, y los sistemas intercambiarán automáticamente la unidad muerta con repuesto de intercambio en caliente. Si tiene terabytes de datos, considere tener dos o más repuestos de intercambio en caliente en su RAID.

Observar distancias fuera del sitio:

Su distancia fuera del sitio es importante. No tiene mucho sentido tener una copia de seguridad fuera del sitio si solo protege contra la pérdida de datos en algunas circunstancias. Cualquiera que haya pasado por un terremoto, inundación, tornado, huracán, etc., le dirá eso. Terremotos recientes en nuestra ciudad vieron a muchas grandes compañías tambalearse sin copias de seguridad externas (cintas aún al lado de los servidores) o copias de seguridad ilegibles. Generalmente 60 millas / 90 km es una buena distancia.

No conozco tu presupuesto, por lo que dar consejos es difícil. El presupuesto impacta en la elección de respaldo y almacenamiento. He trabajado para un productor de películas que proporciona soporte de TI, por lo que tengo cierta comprensión de las partes móviles de su industria. Hay muchas preguntas sin respuesta:

¿Qué servidores tiene, si tiene alguno? ¿Cuánto personal tienes? ¿Es este tu único largometraje? ¿De qué tamaño es el archivo o conjunto de archivos más grande? ¿Cuál es el tiempo entre esta película y la próxima? Por ejemplo, si está produciendo a tiempo completo, tiene el flujo de caja para cubrir los gastos mensuales, como el respaldo remoto a través de fibra. ¿Qué tipo de flujo de efectivo generará la película? ¿Qué requisitos tienes para avanzar? Estas y otras preguntas establecen sus requisitos, metodología y presupuesto.

Por ejemplo: si estaba produciendo 3 largometrajes al año y comerciales cada mes con una docena de empleados, podría permitirse el lujo de tener: Servidores con RAID respaldados en RAID NAS en el sitio. Enlace de fibra dedicado (no tan caro) con 100mbit sin contestar (no limitado por el ISP) replicado a un centro de datos a 60m / 90k de distancia. Los datos de archivo importantes deben escribirse en cinta o RDX y almacenarse en el centro de datos o la bóveda de cintas. El presupuesto es su único factor determinante en cuanto al grado de redundancia y respaldo que puede pagar.

O si es de bajo presupuesto, y los ingresos provienen de las ventas y se desconoce el futuro, puede estar considerando unidades TAPE, RDX o USB (no recomendadas) almacenadas en el hogar.

Los requisitos actuales y futuros, el flujo de caja y el presupuesto, comparados con la pérdida de datos, son sus factores definitorios. Le sugiero que contrate a un especialista en copias de seguridad experimentado y / o un analista comercial para que trabaje en el proceso de almacenamiento y copia de seguridad.