Cómo verificar tasas de error extremadamente bajas

Me enfrento a intentar demostrar a través de la prueba una tasa de error extremadamente baja para un sensor (no más de 1 error en 1,000,000 de intentos). Tenemos un tiempo limitado para realizar el experimento, por lo que anticipamos no poder obtener más de aproximadamente 4,000 intentos. No veo ningún problema en mostrar que el sensor no cumple con el requisito, ya que incluso un error en 4,000 intentos arrojará un intervalo de confianza del 95% para la tasa de error con un límite inferior mayor que 0.000001. Sin embargo, el problema es que sí cumple con el requisito, ya que incluso 0 errores en 4,000 intentos aún resultan en un límite inferior mayor que 0,000001. Cualquier sugerencia sería muy apreciada.

Este es un problema común, especialmente con componentes o sistemas modernos que pueden tener tasas de falla tan bajas como . Para abordarlo, debe hacer suposiciones, crear modelos y / o incorporar otras formas de datos.$10^{-9}$

Lee Cadwallader de INL escribe :

Cuando no existen datos de experiencia operativa para un componente, como un componente en la fase de diseño, el analista tiene varias opciones:

• Descomposición: deconstruir un componente en sus partes constituyentes y luego asignar tasas de falla del manual a las partes. Si el analista confía en la precisión de los datos de las piezas, esta técnica es tediosa pero útil; Si los datos de las piezas no son precisos, se deben utilizar otras técnicas.

• Juicio de los analistas: puede requerir una estimación inversa basada en un requisito de disponibilidad del sistema o simplemente un juicio de ingeniería de las tasas de falla genéricas para esa clase de componente.

• Opinión experta: obtener opiniones cualitativas de expertos en la materia y combinarlas para desarrollar una tasa de falla de orden de magnitud.

• Técnicas específicas de componentes, por ejemplo, el método Thomas para tuberías.

La descomposición se usa con frecuencia para piezas electrónicas, como lo demuestran los manuales de tasas de falla de componentes .

Otras fuentes sugieren que los datos o la experiencia de la industria se pueden utilizar para informar, o en lugar de, datos de prueba.

Otras técnicas discutidas en Weibull.com incluyen

Para evaluar el tiempo de desgaste de un componente, se pueden requerir pruebas a largo plazo. En algunos casos, un ciclo de trabajo del 100% (neumáticos en funcionamiento en un simulador de desgaste de la carretera las 24 horas del día) puede proporcionar pruebas útiles de por vida en meses. En otros casos, el uso real del producto puede ser las 24 horas del día y no hay forma de acelerar el ciclo de trabajo. Es posible que sea necesario aplicar tensiones físicas de alto nivel para acortar el tiempo de prueba. Esta es una técnica emergente de evaluación de confiabilidad denominada QALT (Prueba cuantitativa de vida acelerada) que requiere la consideración de la física y la ingeniería de los materiales que se prueban.

En una nota de advertencia, parece haber un gran paralelismo entre este problema y el de estimar otros eventos raros como los ataques de asteroides y fallas catastróficas en el sistema financiero: los "cisnes negros" de Taleb . . Las últimas tasas fueron notoriamente subestimadas.

No hay forma de probar una tasa de error <1 / 1,000,000 con solo 4,000 ensayos. Debe seleccionar de alguna manera los errores (ejecutar más pruebas en paralelo y solo observar los casos que resultan en un error) o aplicar algún tipo de estrés que aumentaría la posibilidad de un error, y luego extrapolar de las condiciones estresadas a las condiciones normales.

Eso es lo que los genetistas harían, de todos modos ...

En general, no puedes. Sería muy cuidadoso con las técnicas que afirman ser capaces de probar una tasa de error de con solo pruebas. A menudo, ese tipo de técnicas implican en algún lugar asumir una independencia, que no hay forma de validar de manera confiable: es solo un salto de fe. Este tipo de razonamiento defectuoso ha provocado graves fallas en el mundo de los sistemas críticos para la seguridad.$1/10^6$$4000$

Puede haber algunos casos especiales en los que pueda demostrar el nivel deseado de confiabilidad utilizando un número tan limitado de pruebas, por ejemplo, teniendo en cuenta algo sobre la física de la situación. Pero son raros, y ese tipo de razonamiento es frágil.