¿Existe un fuerte argumento de que el instinto de supervivencia es un requisito previo para crear un AGI?

11

Esta pregunta proviene de bastantes fuentes "informales". Películas como 2001, A Space Odyssey y Ex Machina ; libros como Destination Void (Frank Herbert) y otros sugieren que la inteligencia general quiere sobrevivir, e incluso aprender la importancia de ello.

Puede haber varios argumentos para la supervivencia. ¿Cuál sería el más destacado?

agi

— Eric Platon
fuente

@DukeZhou ¿Tendrías documentos públicos sobre el tema?

— Eric Platon el

1

Aun no. (Va a ser un proceso largo ya que nuestro ciclo de desarrollo es muy lento. Probablemente tampoco debería haber dicho AGI mencionado en este contexto porque lo que realmente estoy viendo es más una función de utilidad generalizada que mitiga el riesgo, no un ¡superinteligencia!) Quería actualizarlo, pero probablemente sea mejor si elimino mi comentario original por ser demasiado optimista / engañoso a este respecto.

— DukeZhou

1

Esencialmente, pensé que una función de utilidad económica general sería una buena base para un AGI al proporcionar un motivo principal . (La idea es que la inteligencia general es solo un grado de capacidad en relación con un conjunto de problemas que se expande infinitamente). Se relacionaría con el instinto de supervivencia en el sentido de que los autómatas se dirigen hacia una toma de decisiones óptima en el contexto de mantener y mejorar su condición, (aunque no hasta el punto de una expansión sin sentido que podría ser perjudicial para su "ecosistema) , donde cada decisión se considera en última instancia como económica.

— DukeZhou

1

(si tiene un "lugar en línea" donde se pueden discutir esos temas, sería genial --- Creo que nos están echando de este sitio)

— Eric Platon

6

Steve Omohudro escribió un artículo llamado Unidades de IA básicas que explica por qué esperaríamos que una IA con objetivos limitados encuentre algunos conceptos básicos y generales como útiles para sus objetivos específicos.

Por ejemplo, una IA diseñada para maximizar los rendimientos del mercado de valores, pero cuyo diseño no menciona la importancia de continuar sobreviviendo, se daría cuenta de que su supervivencia continua es un componente clave para maximizar los rendimientos del mercado de valores y, por lo tanto, tomar medidas para mantenerse operativa.

En general, debemos ser escépticos de 'anthropomorphizing' AI y otros códigos, pero parece que no hay razones para esperar que esto más allá "así, los seres humanos se comportan de esta manera, por lo que debe ser cómo se comporta todas inteligencia."

— Matthew Graves
fuente

1

Supongo que Omohudru usa "maximizar los retornos" en el contexto de minimax, donde la mitigación de las desventajas es parte de la ecuación. Desde mi perspectiva, "ganar más sobrevivir" es una extensión básica de minimax en juegos cíclicos.

— DukeZhou

5

El concepto de "instinto de supervivencia" probablemente cae en la categoría de lo que Marvin Minsky llamaría una "palabra maleta", es decir, agrupa una serie de fenómenos relacionados en lo que al principio parece ser una noción singular.

Por lo tanto, es muy posible que podamos construir mecanismos que tengan la apariencia de algún tipo de instinto de supervivencia 'codificado', sin que eso aparezca como una regla (s) explícita (s) en el diseño.

Vea el hermoso libro pequeño 'Vehículos' del neuroanatomista Valentino Braitenberg para una narrativa convincente de cómo podrían evolucionar conceptos 'de arriba abajo' como 'instinto de supervivencia' 'de abajo hacia arriba'.

Además, tratar de garantizar que los artefactos inteligentes otorguen una prioridad demasiado alta a su supervivencia podría conducir fácilmente a un Killbot Hellscape .

— NietzscheanAI
fuente

2

Contestaré citando el libro El mito de Sísifo :

Solo hay una pregunta filosófica realmente seria, y es el suicidio.

Entonces, probablemente, necesitamos cierto grado de instinto de supervivencia si no queremos que nuestros AGI se "terminen" (lo que sea que eso signifique), siempre que se vuelvan existenciales.

— kc sayz 'kc sayz'
fuente