No es solo Hawking, oyes variaciones sobre este estribillo de mucha gente. Y dado que en su mayoría son personas muy inteligentes, bien educadas y bien informadas (Elon Musk es otra, por ejemplo), probablemente no debería descartarse de inmediato.
De todos modos, la idea básica parece ser esta: si creamos inteligencia artificial "real", en algún momento, será capaz de mejorar, lo que mejora su capacidad de mejorarse, lo que significa que puede mejorar su capacidad de mejorarse incluso más, y así sucesivamente ... una cascada desbocada que conduce a la "inteligencia sobrehumana". Es decir, conducir a algo más inteligente que nosotros.
Entonces, ¿qué sucede si hay una entidad en este planeta que es literalmente más inteligente que nosotros (los humanos)? ¿Sería una amenaza para nosotros? Bueno, ciertamente parece razonable especular que podría ser así. Otoh, no tenemos ninguna razón en particular, en este momento, a pensar que va a ser así.
Entonces parece que Hawking, Musk, etc. simplemente están cayendo en el lado más cauteloso / temeroso de las cosas. Dado que no sabemos si una IA sobrehumana será peligrosa o no, y dado que podría ser imparable si se volviera maliciosa (recuerde, ¡es más inteligente que nosotros!), Es algo razonable de considerar.
Eliezer Yudkowsky también ha escrito bastante sobre este tema, incluido el famoso experimento "AI Box". Creo que cualquier persona interesada en este tema debería leer parte de su material.
http://www.yudkowsky.net/singularity/aibox/