¿Son perjudiciales los expertos?

Estoy leyendo "El papel del ajedrez en la investigación de inteligencia artificial" ( pdf ) y, curiosamente, dice:

La experiencia [...] sugiere que las aportaciones de los expertos en ajedrez, aunque generalmente son útiles, no se puede confiar por completo.

Un buen ejemplo de esto es la función de evaluación de Deep Thought. Varios cambios realizados por expertos en ajedrez humano no lograron mejoras significativas y ocasionalmente incluso afectaron negativamente el rendimiento de la máquina.

Aquí, los expertos humanos, junto con su experiencia, introdujeron sus propios prejuicios en el programa. Una forma de resolver este problema es limitar el tipo y la cantidad de aportes de expertos permitidos en el programa; en otro tener una máquina casi "libre de conocimiento".

• ¿Qué tan cierto es eso en la investigación y la práctica modernas?
• ¿Es ese un gran problema, o simplemente algo específico del juego de ajedrez?

Creo que esto se trata más de resolver problemas de ingeniería. La mayoría de los proyectos de ingeniería exitosos no duplican el razonamiento experto o la naturaleza exacta del experto. Resolvieron el problema de una manera diferente.

Por ejemplo, las lavadoras usan una técnica diferente a la de los humanos, los aviones usan dinámicas diferentes a las de las aves.

Si está duplicando el razonamiento experto, su aporte lo es todo . Pero si está resolviendo el mismo problema utilizando diferentes técnicas (búsqueda rápida, gran memoria ...), su entrada solo es útil .

Tales problemas son comunes en varias áreas que requieren juicio.

El capítulo sobre " Pronósticos y ajustes críticos" en Makridakis, Wheelwright y Hyndman Forecasting: métodos y aplicaciones tiene historias similares de juicio de expertos con bajo rendimiento, a veces incluso sistemas muy simples.

Hay un artículo (Dawes et al (1989) "Clinical vs Actuarial Judgment" Science , Vol 243, No 4899, p1668-74) sobre las fallas del juicio experto en el área médica contra lo que llama métodos 'actuariales' - básicamente bastante simple modelos estadísticos

Por otro lado, hay un artículo en la literatura actuarial sobre el 'ruido' y la inconsistencia del juicio experto en un problema particular en esa área donde el juicio experto a menudo es considerado por sus profesionales como de suma importancia.

Makridakis et al discuten fallas en el juicio de expertos en muchas áreas, en lo que se refiere a la predicción, y contiene un poco de valioso consejo.

Y así sigue. Abundan los sesgos cognitivos y los expertos humanos los padecen junto con todos los demás.

La cuestión de si los expertos son perjudiciales o no, ciertamente no es un problema restringido al juego de ajedrez.

Una pregunta interesante en la literatura sobre el diseño óptimo de los Comités de Política Monetaria (MPC) es si los comités deben incluir o no expertos externos que no sean empleados a tiempo completo del banco central.

Para poner esto en perspectiva, primero considere el MPC del Banco de Inglaterra. Está compuesto por cinco miembros ejecutivos internos del banco y cuatro expertos externos. Por otro lado, el Banco de la Reserva Federal emplea un comité compuesto únicamente por empleados del banco.

Los miembros expertos externos están incluidos en el MPC del Banco de Inglaterra, ya que se cree que aportan experiencia e información adicional a la obtenida dentro del Banco de Inglaterra.

Entonces, ¿qué diseño MPC es mejor? ¿Expertos adentro o expertos afuera?

Bueno, esta área de investigación aún está activa y ha sido investigada recientemente por Hansen & McMahon (2010) . Sugiero consultar las referencias mencionadas en este documento para leer más sobre este tema de "comités de expertos".

¿Es este un gran problema (importante)? Teniendo en cuenta los efectos que la decisión de un MPC puede tener para la economía, ¡diría que este es un problema bastante importante!

Por último, debo mencionar que las decisiones de política monetaria pueden, en teoría, delegarse en una computadora. Por ejemplo, la computadora podría programarse para implementar, por ejemplo, una regla de política monetaria simple ; por ejemplo, uno de compromiso. Esto eliminaría el aporte de expertos después de que la regla de política monetaria se haya programado en la computadora. El uso de la computadora en la política monetaria se menciona en Svensson (1999) .

Referencia : Stephen Eliot Hansen y Michael McMahon, 2010. "¿Qué aportan los expertos externos a un comité? Evidencia del Banco de Inglaterra", Documentos de trabajo de economía 1238, Departamento de Economía y Empresa, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. "¿Cómo debería llevarse a cabo la política monetaria en una era de estabilidad de precios?", Proceedings, Federal Reserve Bank of Kansas City, páginas 195-259.

Creo que la clave es la consistencia. El experto no solo tiene un conocimiento particular, sino un sistema dentro del cual opera ese conocimiento. Tienen una personalidad, una estrategia general, dentro de la cual residen y evolucionan sus tácticas.

En cierto sentido, un programa de computadora jugando al ajedrez es un Monstruo de Frankenstein creado a partir de una combinación de varios cuerpos (programadores, expertos, etc.). Por lo tanto, no es sorprendente que los consejos de un experto no encajen bien con el sistema que existe.

Estoy de acuerdo con otros comentarios de que los expertos pueden no saber cómo hacen lo que hacen. En cuyo caso, siendo humanos, su mente consciente inventa una historia plausible de por qué llegaron a una decisión particular. Pero sigo pensando que el asesoramiento de expertos al equipo de programación siempre está fuera de contexto (es decir, inconsistente con el contexto del diseño y la historia del programa).

EDITAR: También puede haber un sesgo de refuerzo aquí. No puedo encontrar ningún buen enlace para explicar el sesgo de refuerzo, pero la forma en que entiendo el término es el efecto que obtienes cuando actualizas (reajustas) un modelo supervisado utilizando los resultados anteriores del modelo, generalmente indirectamente, como objetivos. Es similar al sesgo de confirmación, pero implica un nivel de indirección. Los expertos humanos tendrían sus sesgos de refuerzo, que podrían afectar las cosas.