Desde el punto de vista de la ingeniería, ¿cuáles son las desventajas de un modelo demasiado preciso?

Me preguntaba, desde el punto de vista de la ingeniería, ¿por qué razones puede ser perjudicial demasiada precisión en el modelado?

Desde un punto de vista científico, parece que casi siempre es un beneficio, aparte de cuando necesita menos tiempo de cálculo.

Entonces, desde el punto de vista de la ingeniería, además del tiempo (o la potencia informática) ¿por qué debería evitar eso?

Cuidado con el sobreajuste . Un modelo más preciso de datos recopilados de un sistema puede no ser un mejor predictor del comportamiento futuro de un sistema.

La imagen de arriba muestra dos modelos de algunos datos.

La línea lineal es algo precisa en los datos de entrenamiento (los puntos en el gráfico), y (uno esperaría) será algo precisa en los datos de prueba (donde los puntos probablemente sean para x <5 y x> -5 )

Por el contrario, el polinomio es 100% preciso para los datos de entrenamiento, pero (a menos que tenga alguna razón para creer que el polinomio de noveno grado es razonable por alguna razón física), supondría que este será un predictor extremadamente pobre para x> 5 y x <-5.

El modelo lineal es "menos preciso", basado en cualquier comparación de errores con los datos que hemos reunido. Pero es más generalizable.

Además, los ingenieros tienen que preocuparse menos por su modelo y más por lo que la gente hará con el modelo.

Si te digo que vamos a caminar en un día caluroso y se espera que dure 426 minutos. Es probable que traiga menos agua que si le digo que la caminata durará 7 horas, e incluso menos que si digo que la caminata durará de 4 a 8 horas. Esto se debe a que está respondiendo a mi nivel implícito de confianza en mi pronóstico, en lugar del punto medio de mis tiempos establecidos.

Si le da a la gente un modelo preciso, la gente reducirá su margen de error. Esto lleva a mayores riesgos.

Tomar la caminata en un ejemplo de día caluroso, si sé que la caminata tomará de 4 a 8 horas en el 95% de los casos, con cierta incertidumbre sobre la navegación y la velocidad de caminata. Conocer perfectamente nuestra velocidad para caminar disminuirá la incertidumbre de la figura 4-8, pero no afectará significativamente la 'posibilidad de que tomemos tanto tiempo que el agua se convierta en un problema', porque eso es impulsado casi por completo por la navegación incierta, no La velocidad incierta de caminar.

El inconveniente más obvio es el costo, todos los proyectos de ingeniería tienen un presupuesto limitado y gastar más dinero del que necesita es claramente algo malo, sin mencionar la pérdida de tiempo.

También puede haber problemas más sutiles. Cosas como el análisis FE siempre son aproximaciones y, a veces, agregar detalles innecesarios puede introducir artefactos y dificultar la resolución de problemas de un modelo. Por ejemplo, puede obtener discontinuidades que provocan elevadores del estrés.

También existe la consideración de que incluso si tiene la capacidad informática para manejar cómodamente una gran parte de los proveedores y clientes de datos, es posible que en muchos casos la transferencia de archivos grandes no sea un cuello de botella.

Del mismo modo, si tiene más parámetros de los que necesita, posiblemente esté creando un trabajo adicional más adelante en la gestión y depuración de archivos.

Una vez más, incluso si tiene mucho tiempo y recursos ahora, puede ser que alguien más adelante necesite usar ese modelo sin el mismo lujo, especialmente si termina siendo parte de un producto que está vendiendo a los clientes.

Hay unas pocas razones.

Desde una perspectiva puramente pragmática, se debe a limitaciones de tiempo. El tiempo requerido para resolver un modelo aumenta mucho, mucho más rápido que el nivel de precisión, y de todos modos el nivel adoptado es subjetivo.

$\pm5$$15\%$

Debido a esto, no tiene sentido ser demasiado preciso. Pero, de hecho, puede ser beneficioso ni siquiera intentar ser demasiado preciso. Sin embargo, las razones para esto son principalmente psicológicas. Principalmente, no desea que su modelo sea demasiado preciso, y no desea generar sus resultados con siete decimales, porque no quiere evocar una falsa sensación de confianza.

El cerebro humano está programado para pensar que 1.2393532697 es un valor más preciso que 1.2. Pero ese no es el caso. Debido a todas las incertidumbres del mundo real que su modelo no puede tener en cuenta (especialmente dadas las limitaciones actuales del hardware), 1.2 es casi tan seguro como un resultado tan válido como 1.2393532697. Así que no te engañes a ti mismo ni a quien vea tu modelo. Simplemente envíe la salida 1.2, que indica de forma transparente que realmente no sabe qué sucede después de ese segundo dígito.

Un modelo extremadamente preciso puede requerir una cantidad prohibitiva de datos de entrada. Podría ser posible generar un excelente modelo de sistemas meteorológicos, por ejemplo, tomando como entrada la posición y la velocidad de cada molécula de gas en la atmósfera. En la práctica, dicho modelo no sería útil, ya que no existe una forma realista de generar la entrada adecuada. En este caso, sería preferible un modelo menos preciso que solo requiera datos de entrada limitados.

"Demasiado preciso" no es monótono. En realidad, puede crear una ilusión de fidelidad que te hace pensar que vale la pena inyectar más dinero en la simulación. Esto se vuelve muy importante cuando presenta datos de modelos de fidelidad mixta, donde algunas partes son muy detalladas y otras son muy burdas.

Un ejemplo de la vida real fue el muestreo de altitudes sobre el terreno. El equipo había decidido probar el terreno en 1024 fragmentos para maximizar la fidelidad. Nuestro cliente quería una respuesta ReallyGood (tm).

Ahora me molestaban los golpes de tiempo de ejecución que este algoritmo en particular causaba, y quería entender cuánta fidelidad estaba pagando realmente. No había visto ningún dato del terreno, así que les pregunté cómo lo cargaron. La respuesta fue "oh, no tenemos terreno. Es simplemente plano".

Así que parecía que tenía un impresionante modelo de alta fidelidad que muestreaba 1024 puntos. Lo que realmente tuve fue un modelo de baja fidelidad que no fue mejor que muestrear 1 punto 1024 veces, ¡pero funcionó muchísimo más lento y se hizo pasar por un modelo de mayor fidelidad!

En el mundo real de la ingeniería, los líderes no siempre tienen la oportunidad de aprender toda la arquitectura de un modelo. De hecho, diría que nunca tienen tiempo. Nuestro liderazgo estaba tomando decisiones bajo el supuesto de que teníamos un impresionante modelo de 1024 puntos. Nadie tuvo la culpa, es justo lo que sucede cuando ajusta la fidelidad demasiado alta en una parte del modelo y tiene baja fidelidad en la otra. Es la naturaleza de la bestia con fidelidad mixta.

En realidad, están los datos que tenemos, y están los datos que no tenemos. Casi siempre, la cantidad de datos que no tenemos es mucho más de lo que podríamos esperar reunir por razones prácticas o económicas.

Al tratar de ajustar los datos desagradablemente bien a las pocas muestras que tenemos, correremos el riesgo de hacer que nuestro modelo haga estimaciones realmente malas en áreas en las que sinceramente no tenemos idea (debido a la falta de datos). Entonces nuestro modelo nos dará una falsa sensación de seguridad.

Entonces, desde un punto de vista de ingeniería, además del tiempo (o la potencia informática), ¿por qué debería evitar eso?

Desde una perspectiva de ingeniería mecánica, la razón más importante es que solo se compromete con el esfuerzo adicional si produce resultados significativamente diferentes.

Si el nivel de precisión en su modelo es de órdenes de magnitud más altos que el nivel de precisión que podría entregar en la ejecución de su diseño, está desperdiciando su esfuerzo. Si el nivel de precisión descrito en su modelo es mayor que el requerido, eso tiene un impacto para el cliente. Estás desperdiciando dinero. Por ejemplo, si está especificando una precisión superior a la que el diseño realmente requiere (por ejemplo, +/- .00001 mm en la longitud de un tubo de ventilación) está desperdiciando el dinero de sus clientes porque un respiradero de 350 mm a la atmósfera hace el mismo trabajo que un respiradero de 350,0005 mm a la atmósfera, pero este último es significativamente más caro de producir.

En la universidad, todos aprendimos a modelar el mundo físico utilizando la física newtoniana, aunque está bien establecido que la física post-newtoniana presenta un modelo de comportamiento físico más preciso. A pesar de esto, no conozco ningún programa de ingeniería mecánica que, por defecto, evite que los modelos newtonianos sean demasiado inexactos. Si utilizamos el modelo más preciso y obtenemos una respuesta que es 0.1% más cercana a la verdad teórica que no afectará nuestro diseño final en la gran mayoría de los casos. Si nuestro límite de elasticidad es 0.1% diferente, eso nos da una diferencia insignificante en nuestra sección transversal requerida, lo que nos lleva a elegir exactamente el mismo tamaño de viga en I con base en cualquiera de los métodos. En esta circunstancia, los costos del esfuerzo adicional no brindan ningún beneficio adicional.

Ahora hay situaciones en las que se requiere precisión para producir un diseño viable, por ejemplo, el modelado de algunos satélites requiere física relativista. En estas circunstancias, necesitamos encontrar un modelo que ofrezca el nivel de precisión requerido y necesitamos diseñar el modelo. Si necesitamos calcular dimensiones a +/- 0.0001%, es un esfuerzo totalmente desperdiciado si nuestras dimensiones de parte son +/- 0.1%. En aplicaciones del mundo real, las dimensiones parciales del último grado de precisión son mucho más comunes que las anteriores.

Costo: el costo del tiempo o el costo de la potencia informática y el costo de la precisión, si otras variables tienen una tolerancia del 5%, por ejemplo, por qué calcular los resultados al 1% ...

En las respuestas anteriores se mencionó la entrada y el costo. Si quieres precisión, por ejemplo. En la optimización de los parámetros de producción, es probable que necesite más mediciones y primero debe analizar cuánto puede reducir los costos frente a cuántas horas de trabajo, por lo tanto, el aumento del gasto es para aumentar la frecuencia de las mediciones o el costo del sistema automatizado que reemplazará la recopilación manual de datos. Segundo ejemplo, si obtiene resultados muy precisos en los que invirtió tiempo y otros recursos para obtenerlos, ¿tiene el equipo adecuado para el control de calidad, las mediciones industriales, etc. o incluso la tecnología? Si sus resultados son en vano, el tiempo empleado en obtenerlos es malgastado.

¿Necesitaría una imagen de satélite con una resolución de centímetros para identificar los bosques por color? Seguro que no. Sería perjudicial, ya que tendrías que decidir sobre cualquier parche no verde de 10 centímetros cuadrados. Lo mismo para el modelado: la resolución detallada debe ajustarse a la resolución de sus características de destino. Si no, perderá tiempo reduciendo el tamaño.

La mayoría de las respuestas reales están excluidas por su restricción artificial de que la potencia de cálculo y los tiempos de cálculo no deben considerarse. Un modelo que demora horas o días en evaluarse no permite iteraciones de diseño rápidas y ralentizará las cosas a escala humana, aumentando el costo y posiblemente conduciendo a resultados inferiores. La simplificación inteligente de los modelos sin perder demasiada precisión puede ser un enfoque muy útil, luego el modelo de fuerza bruta se puede utilizar para validar la iteración final.

Es posible que los modelos demasiado complejos puedan enmascarar errores fundamentales en el modelo, o que el trabajo requerido para recopilar información para utilizar prácticamente el modelo al máximo supere cualquier beneficio potencial. Por ejemplo, si necesita conocer las características de un material con un mayor grado de precisión de lo que el proveedor puede controlar, puede aceptar las bandas de error o probar cada lote de material para ajustar el modelo.