Los trabajadores de la construcción llenaron mi SAN con concreto y polvo mineral

Actualización: EMC ha eliminado nuestra garantía y soporte, por lo que este será un caso de seguro. Dell dice que podemos obtener una agencia de limpieza profesional para restaurar los servidores y mantener nuestra garantía. Cisco dice "tal vez". HP sigue en silencio :(

Actualización final: EMC dio la vuelta y aprobó la limpieza de una empresa certificada. El VNX nos fue enviado hoy y funciona bien. El resto de la sala de servidores también se está limpiando, y nuestras pérdidas se limitan a un par de unidades de cinta. La compañía de seguros paga la factura de casi todo lo demás.

La pregunta original:

Aquí está la historia ...

Los propietarios del edificio en el que alquilamos espacio de oficina decidieron hacer una renovación del exterior. Esto implicó un trabajo bastante pesado en el nivel donde se encuentra nuestra sala de servidores, incluido el intercambio de ventanas que se ajustan dentro de una pared de concreto.

Mi alerta roja se disparó cuando escuché que iban a hacer lo mismo con nuestra sala de servidores (sí, nuestra sala de servidores tiene una ventana. Somos una pequeña tienda con 3 bastidores. La ventana está asegurada con barras de acero). Le expliqué explícitamente al contratista que deben colocar una pared temporal entre nuestros bastidores y la pared original, y asegurarse de que la pared temporal sea 100% hermética al aire y al agua. Prometieron hacerlo.

La pared temporal tiene una pequeña puerta, para que los trabajadores puedan entrar / salir durante el día (a través de nuestra sala de servidores, que era la única opción ...). En varias ocasiones pude encontrar la puerta pequeña a medio camino cerrada mientras trabajaba tardes / noches. Cerré la puerta con llave, y pensé que con suerte llegarían pronto y mantendrían la puerta cerrada. Incluso le di un bocado a un electricista cuando vi que no cerró la puerta correctamente.

En este punto, apuesto a que la mayoría de ustedes tienen una idea de lo que sucedió. Sí, probablemente dejaron la puerta abierta mientras perforaban el concreto.

Te presento nuestro EMC VNX de 4 semanas: Discos VNX Estante VNX

Incluso pondré una pequeña bonificación, aquí está el APC UPS un estante más lejos de la pared temporal. ¿Ves la pequeña y bonita pista de aterrizaje de mi dedo? UPS

¿Qué tengo que hacer? Lo único que viene a la mente es llamar a todos nuestros proveedores (EMC, HP, Dell, Cisco) y hacer que envíen técnicos para que revisen todo el equipo en la sala de servidores, o que obtengan algún tipo de consulado certificado de terceros para comprobarlo todo ¿Ejecutarías sistemas de producción en este equipo? ¿Cuánto tiempo?

También debo señalar que nuestro aire acondicionado no es exactamente de grado empresarial, dada la naturaleza de nuestra pequeña habitación. Es solo un inversor único, que falló una vez antes de comenzar a trabajar aquí (los inversores defectuosos generalmente provocan goteo de agua).

server-room disaster

— pauska
fuente

Lamentablemente, he conocido que los sistemas de producción funcionan en condiciones mucho peores (piense en los almacenes). Pero no es ideal por ningún tramo, especialmente para equipos nuevos. Investigaría obtener algún tipo de compensación por la limpieza al menos, y quizás por los pocos fallos inevitables de los fanáticos. Sin embargo, depende en gran medida de su flujo de aire y de cuánto extrae cada unidad de equipo. Como mínimo, limpie la habitación, luego los filtros de aire o las entradas de aire en el equipo y vigile las temperaturas y el enfriamiento.

— Sirex

Sí, aunque no es algo bueno, he visto cosas mucho peores y con un kit más crítico y más caro. Entonces, ordénelo, pero no esperaría una falla inminente.

— Dan

Demasiado malo para leer que EMC ha caído en garantía, los otros fabricantes harán lo mismo, apuesto ... No tengas miedo de traer un abogado a esto ...

— HTDutchy

Por el contrario: tenga miedo de traer a los abogados a esto. Reúna sus pruebas. Sí, obtenga asesoramiento profesional. Tuvimos un problema grave una vez, en el que un abogado nos dijo que teníamos daños tangibles. Resultó que no lo habíamos hecho, y después de la demanda contra el vendedor, que perdimos, tuvimos una demanda contra nuestro abogado, que fue mitigada fuera de los tribunales. Tenga mucho cuidado con los daños que realmente existen y quién es responsable. Si encuentra un abogado confiable (haw), le dirán qué esfuerzos requiere la demanda y cuáles son sus posibilidades. Si dicen que es 100% claro, mienten.

— Posipiet

¡Esos pobres bebés!

— Ben Brocka

Respuestas:

Entra a todos los técnicos.
Haz que revisen / limpien todo el equipo.
Envíe la factura al planificador del edificio.

Realmente, los servidores pueden soportar cierto nivel de polvo, pero esto es demasiado. Limpiamos nuestros servidores regularmente durante el tiempo de inactividad con una aspiradora para PC de 3M . Es bueno tenerlo en la oficina.

Pero por ahora, comience a limpiar. Cuanto más rápido saque el polvo de allí, mejor. Trate de mantener los disipadores térmicos y los ventiladores libres de polvo. Si un disipador térmico o ventilador está cubierto de polvo, su capacidad para disipar el calor es mucho peor que una unidad limpia.

— Bart De Vos
fuente

En ese caso, debería investigar la contratación de un servicio que se especialice en la limpieza antiestática de la sala de servidores.

— erimar77

@ erimar77: Nuestra compañía de seguros está en esa ruta ahora mismo :)

— pauska

Primero: cuando la sala de servidores se convierte en un sitio de construcción, debe eliminar todos los servidores, por varias razones.

cortes de energía
interrupciones de enfriamiento
acceso (no sabe quién pasa por sus servidores, a qué hora)
estrés mecánico debido a la maquinaria de construcción
daño directo por trabajadores que se topan
polvo residual del sitio de construcción, especialmente polvo metálico o mineral

La única apuesta segura es eliminar sus servidores a una sala diferente. Esto significa paradas adicionales, pero durante el curso de las actividades del edificio, probablemente tendrá que cerrarlas de todos modos.

(Eso sí, la siguiente es mi opinión subjetiva) Ahora esto ha sucedido. Los ventiladores están cubiertos de polvo mineral. Potencialmente, esto reduce su vida útil al afectar los rodamientos.

No esperaría que los servidores fallaran masivamente, pero esperaría tener un mayor porcentaje de fallas. En un cliente bastante grande, los apagones de los fanáticos aumentaron después de las actividades de construcción.

Pero, de nuevo, no haría todo lo posible para limpiar los sistemas. Si la limpieza provoca daños, es probable que sea más grande que un ventilador averiado. A menos, por supuesto, si el polvo contiene partículas metálicas, que cambian todo el juego.

¿Qué hacer? Limpie la sala, limpie el exterior de los servidores, reserve algo de efectivo para reemplazos anteriores en el futuro.

El daño muy probablemente no es justiciable. La parte del daño que puede probar probablemente no valga la pena ir a la corte. Puede intentar obtener una cierta cantidad de compensación del arrendador, tal vez un pago reducido más o menos.

— Posipiet
fuente

Lo que deberíamos haber hecho no es especialmente útil, pero estoy de acuerdo con los puntos que enumera. El culpable es que no sé (todavía) si hay rastros metálicos en el polvo. El otro peligro potencial aquí es la falla del aire acondicionado, que podría conducir a un aire húmedo, que no es bueno combinado con concreto y / o polvo mineral.

— pauska

Como el sitio es leído por muchas otras personas, algunas de las cuales pueden tener un trabajo de construcción acercándose, lo que debería haber hecho es información realmente útil, un poco tarde para usted personalmente.

— Sirex

Es verdad. Perdón por ser un gatillo feliz, mi estado de ánimo está por debajo del promedio en este momento.

— pauska

Estoy de acuerdo con esto. Estábamos instalando nuevas baldosas y, durante el proceso, los trabajadores cubrieron los bastidores del servidor con láminas de plástico. Afortunadamente, estuve allí y las advertencias térmicas generaron una alerta por correo electrónico, pero sin eso hubiera sido un brindis. Una vez que los servidores se contaminan con partículas, es muy difícil revertirlos, y los efectos secundarios pueden ser duraderos y dar lugar a problemas muy difíciles.

— Greg Askew