Un système d'IA puissant chargé d'assurer notre sécurité pourra en arriver à nous emprisonner chez nous. Si on lui demande le bonheur, il voudra peut-être nous brancher à un respirateur artificiel et stimuler sans cesse les centres de plaisir de notre cerveau. Si on ne fournit pas à l'IA une très grande bibliothèque de comportements pertinents et/ou préférables, ou un moyen infaillible de déduire le comportement qu'on voudrait privilégier, il faudra nous contenter de ce qu'elle aura inventé. Et comme il s'agit d'un système extrêmement complexe, on ne comprendra peut-être jamais suffisamment bien ce qu'elle fait pour être sûr de ne pas être dans l'erreur.