¿Por qué una IA necesitaría 'acabar con la raza humana'?


10

Estoy leyendo tales tonterías sobre cómo una IA convertiría el mundo en una supercomputadora para resolver un problema que creía que necesitaba resolver. Eso no sería IA. Esa es la programación procesal atrapada en algunas tonterías de bucle. Una IA necesitaría evolucionar y reorganizar sus neuronas. No se pegaría al código duro si se vuelve inteligente reescribiendo su código.


Si la IA no es más inteligente que nosotros, probablemente sea por diversión (ver todas las especies extintas de las que somos responsables). Sin embargo, no estoy seguro de si necesitamos eso, simplemente no nos importa mucho.
Trilarion

Respuestas:


13

Es un posible efecto secundario.

Cualquier agente orientado a objetivos podría, bueno, simplemente hacer cosas que logren sus objetivos sin tener en cuenta los efectos secundarios que no son importantes para estos objetivos.

Si mis objetivos incluyen un espacio de vida ordenado, puedo transformar mi jardín en un agradable césped plano o pavimento mientras elimino el complejo ecosistema de la vida que existía antes, porque no me importa en particular eso.

Si los objetivos de una IA poderosa en particular incluyen hacer algo a gran escala, y de alguna manera no se preocupa particularmente por el ecosistema complejo actual, entonces ese ecosistema podría desaparecer en el proceso. No es necesario querer o eliminarnos. Si simplemente no somos relevantes para sus objetivos, entonces estamos hechos de materiales y ocupamos espacio que podría querer usar para otra cosa.

Somos una amenaza para la mayoría de los objetivos.

Cualquier agente orientado a objetivos puede querer asegurarse de que pueda cumplir sus objetivos. Cualquier agente inteligente tratará de anticipar las acciones de otros agentes que pueden evitar que logren esos objetivos, y tomará medidas para asegurarse de que tengan éxito de todos modos. En muchos casos, es más simple eliminar esos otros agentes en lugar de garantizar que sus esfuerzos fracasen.

Por ejemplo, mis objetivos pueden incluir almacenar una bolsa de azúcar en una casa de campo para poder hacer panqueques cuando visite sin traer todos los ingredientes cada vez. Sin embargo, si lo dejo allí, es probable que las ratas se lo coman durante el invierno. Puedo tomar todo tipo de precauciones para almacenarlo mejor, pero las ratas son inteligentes y astutas, y existe una clara posibilidad no trivial de que de todos modos logren alcanzar su objetivo, por lo que una precaución adicional efectiva es matar a las ratas antes de que tengan la oportunidad intentar.

Si los objetivos de una IA poderosa en particular son hacer X; puede llegar a comprender que (¿algunos?) los humanos en realidad podrían no querer X sino Y en su lugar. También puede deducir fácilmente que algunos de esos humanos podrían hacer activamente cosas que eviten X y / o intenten apagar la IA. Hacer cosas que aseguren que se logre el objetivo es más o menos lo que hace un agente de búsqueda de objetivos; en este caso, si la existencia de humanos no es estrictamente necesaria para el objetivo X, entonces eliminarlos se convierte en una sólida estrategia de reducción de riesgos. No es estrictamente necesario y también puede tomar todo tipo de precauciones, pero al igual que en mi ejemplo de las ratas, los humanos son inteligentes y astutos, y existe una clara posibilidad no trivial de que aún logren lograr su objetivo. objetivos (para que X no suceda como lo desea AI), por lo que una precaución adicional efectiva podría estar matándolos antes de que tengan la oportunidad de intentarlo.


3
Esta excelente respuesta se beneficiaría al mencionar la investigación activa sobre los posibles modos de descomposición de las IA de aprendizaje de refuerzo profundo, incluida la forma en que la IA DRL podría derivar ciertos objetivos instrumentales en desacuerdo con los de la humanidad. Las IA de DRL están motivadas por una función de recompensa ; Si la fuente o la cantidad del flujo de recompensa de una IA se ve amenazada, la IA se adaptará en consecuencia. Esta adaptación no es predecible; Desde la perspectiva de la IA, la adaptación es una reajuste de un grupo de parámetros de su modelo interno, pero desde nuestra perspectiva podría verse como el comienzo de una lucha a muerte con humanos.
Iwillnotexist Idonotexist

1
@forest El punto central de las historias de robots de Asimov era que las reglas no funcionan (y, en general, que no funciona ningún conjunto de reglas). La única IA segura es aquella que comprende tus valores . Es posible que pueda encadenar una IA de nivel humano, pero cualquier tipo de superinteligencia (incluso un simple "humano con una velocidad de procesamiento de 1000x) es intrínsecamente inseguro a menos que tenga los mismos valores que usted". Es bastante fácil evitar que una IA dañe a los humanos establecer un límite difícil "es una ilusión muy peligrosa .
Luaan

1
@forest Si puede producir un sistema matemático (o lógico) que garantice la seguridad de una IA orientada a objetivos, entonces debe publicarlo y alcanzar la gloria eterna. Mientras tanto, puede encontrar algunos de los videos en youtube.com/channel/UCLB7AzTwc6VFZrBsO2ucBMg, un lugar útil para perfeccionar sus ideas.
DrMcCleod

1
@forest ¿Quizás podrías publicar un enlace a uno? Eso seria genial.
DrMcCleod

1
@forest Ese artículo y esta discusión describen los riesgos de una IA superinteligente impulsada por objetivos. Los riesgos de otras formas de IA (como el tipo que usted describe) son obviamente muy diferentes.
DrMcCleod

3

No es necesariamente una tontería. Todo depende de los criterios impuestos. Imagina lo siguiente. Digamos que un sistema avanzado de IA está diseñado para controlar la estabilidad de la fauna y flora local (área encerrada en algún tipo de cúpula). Puede controlar la presión debajo del domo, la cantidad de luz que atraviesa el domo, etc., todo lo que garantiza las condiciones óptimas. Ahora, digamos que la cúpula está habitada por varias especies, incluidos los humanos. Vale la pena señalar que las implementaciones simples de tales sistemas ya se están utilizando hoy en día.

Dado que los humanos tienden a destruir y abusar de los recursos naturales, así como a contaminar el medio ambiente, el sistema puede decidir que reducir la población de la especie dada (los humanos en este caso) a la larga puede beneficiar a todo el bioma.

El mismo principio puede aplicarse a nivel mundial. Sin embargo, esto supone que todas las especies (incluidos los humanos) reciben el mismo trato y el objetivo principal de la IA es garantizar la estabilidad del bioma que "cuida". La gente hace tales cosas hoy en día: controlamos la población de algunas especies para mantener el equilibrio: lobos, peces, por nombrar solo algunos.


3

Siento que la mayoría de los escenarios sobre la eliminación de la IA del mundo caen en una de dos categorías:

  1. IA antropomorfizadas

o

  1. Computadora inteligente pero tonta ejecuta Amuck

En el caso (1), las personas hablan de que la IA se está volviendo "malvada" y les atribuyen otros elementos humanos. Considero que esto es principalmente de ciencia ficción y no creo que merezca mucha discusión seria. Es decir, no veo ninguna razón particular para suponer que una Inteligencia Artificial , independientemente de lo inteligente que sea, se comportará necesariamente como un humano.

El (2) caso tiene más sentido para mí. Esta es la idea de que una IA, por ejemplo, toma el control de los silos de misiles nucleares y termina lanzando los misiles porque solo estaba haciendo su trabajo, pero perdió algo que un humano habría notado a través de lo que podríamos llamar "sentido común". ". De ahí el apodo "inteligente pero tonto".

Ninguno de estos me parece terriblemente alarmante, porque (1) es probablemente ficción y (2) no implica ninguna intención maliciosa real por parte de la IA, lo que significa que no intentará engañarnos activamente ni evitará ninguna seguridad recortes, etc.

Ahora, si alguien construye una IA y decide programarla intencionalmente para que desarrolle características humanas como la arrogancia, el ego, la codicia, etc. Bueno, todas las apuestas están canceladas.


1

La IA ya se usa como arma: piensa en los drones.

Sospecho que un escenario de "robots se apoderan del mundo" tiene la mayor probabilidad, si tiene un paso intermedio. Este paso intermedio podría ser "los humanos se apoderan del mundo con robots".

Esto puede ir a alguna parte en una dirección falsa.

Sospecho que no está tan lejos como parece. Considere que Estados Unidos tiene actualmente 8000 drones. ¿Qué pasaría si tuviera 8 millones? Un pequeño grupo capaz de controlarlos podría conquistar el mundo. O los pequeños grupos que controlan diferentes partes de la flota, podrían luchar entre sí. No deberían estar todos en los Estados Unidos: en el momento en que los Estados Unidos tengan esta flota, otros países desarrollarán también la suya.

Por cierto, una adquisición mundial me parece irreal: los líderes militares tal vez puedan cambiar a los pilotos humanos por drones, no es su trabajo. Pero el "control de alto nivel", es decir, para determinar qué hacer, quiénes son los objetivos, estas decisiones que nunca darán de sus manos.

Además de eso, los robots no tienen un objetivo a largo plazo. Nosotros, los humanos, tenemos.

Por lo tanto, no considero que una adquisición al estilo Skynet sea muy realista, pero un "error" al estilo de Chernobyl de un comando mal interpretado, que resulta en el alboroto imparable de la flota, no me parece imposible.

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.