Pourquoi donner à un robot un ordre d'obéir aux ordres, pourquoi les commandes d'origine ne sont-elles pas suffisantes ? Pourquoi commander à un robot de ne pas faire du mal - ne serait-il pas plus facile de ne jamais lui indiquer de faire du mal en premier lieu ? Est-ce que l'univers contient une force mystérieuse qui pousse les entités vers la malveillance, de sorte qu'un cerveau positronique doive être programmé pour y résister ? Est-ce que des êtres intelligents développent inévitablement un problème d'attitude? (...)
Maintenant que les ordinateurs sont devenus vraiment plus intelligents et plus puissants, l'anxiété a diminué à leur sujet. Omniprésents, les computers en réseau d'aujourd'hui ont une capacité sans précédent de faire du mal si jamais ils le voulaient.
Mais le seul chaos vient de bugs imprévisible ou de la malice humaine sous forme de virus. Nous ne nous inquiétons plus sur les tueurs en série électroniques ou autres cabales d'automates en silicium subversifs parce que nous commençons à comprendre que malveillance - comme la vision, la coordination motrice, et le bon sens - ne vient pas librement d'une computation ou d'un calcul, mais doit être programmée. (...)
L'agression, comme toute autre partie du comportement humain que nous prenons pour acquis, est un problème d'ingénierie très difficile, très motivant !
Auteur:
Info: Comment fonctionne l'esprit
Commentaires: 0