Notes

• [1]
  Ces termes sont évidemment anthropomorphiques et ne sont en aucune manière des analogies à prendre au sérieux. Ils ne sont là qu’en tant qu’étiquettes de systèmes possibles de types différents qu’on peut essayer de mettre au point.
• [2]
  En réponse à une question sur le résultat de la prochaine élection, on ne souhaite pas recevoir une liste exhaustive des positions projetées et des vecteurs-moments des particules voisines.
• [3]
  Indexé à un ensemble d’instructions particulières sur une machine donnée.
• [4]
  Kuhn (1962) ; De Blanc (2011).
• [5]
  Il serait bien difficile de recourir à cette « méthode de consensus » avec des génies ou des souverains parce qu’il peut souvent y avoir de nombreuses suites d’actions basiques (comme envoyer un pattern particulier de signaux électriques aux actuateurs du système) qui seraient presque exactement aussi efficaces pour atteindre un objectif donné ; ainsi, des agents légèrement différents pourraient parfaitement choisir des actions légèrement différentes, et que le consensus ne puisse donc être atteint. Au contraire, avec des questions correctement formulées, il y aurait un petit nombre de réponses possibles en opposition (comme « oui » ou « non »). Sur le concept de point de Schelling, aussi appelé « point focal », voir Schelling, 1980).
• [6]
  L’économie mondiale ne serait-elle pas, à certains égards, analogue à un faible génie, mais un génie payé pour ses services ? Une économie beaucoup plus large, qui pourrait être celle du futur, pourrait bien ressembler à un génie avec une superintelligence collective.
  L’économie actuelle n’est pas équivalente à un génie parce que, même si je peux commander (en payant) qu’on me livre une pizza à ma porte, je ne peux pas demander la paix dans le monde. La raison n’en est pas que l’économie n’a pas assez de pouvoir, mais qu’elle n’est pas assez intégrée. Sous cet angle, l’économie ressemble plus à une assemblée de génies servant différents maîtres (avec des intérêts différents) plutôt qu’à un unique génie ou à tout autre agent unifié. Accroître le pouvoir global de l’économie en rendant plus puissant chacun des génies qui la composent, ou en ajoutant des génies, ne permettrait pas nécessairement à l’économie de produire la paix mondiale. Pour fonctionner comme un génie superintelligent, l’économie ne devrait pas seulement augmenter sans coût complémentaire ses capacités à produire des biens et des services (y compris ceux qui nécessitent une technologie radicalement nouvelle), elle devrait être capable de résoudre les problèmes de coordination mondiale.
• [7]
  Si le génie n’était pas, d’une manière ou d’une autre, capable de désobéir à une demande ultérieure (et s’il était incapable de se reprogrammer lui-même pour se débarrasser de ce défaut), il pourrait agir pour empêcher la formulation de toute nouvelle demande.
• [8]
  Même un oracle, qui se limite à donner des réponses oui/non à des questions, pourrait être utilisé pour faciliter la recherche d’un génie ou d’un souverain ou être en fait un composant de ces IA. Un oracle pourrait aussi servir à produire le code d’une IA si un nombre suffisamment élevé de questions pouvait lui être posé. Une série de questions qui pourraient prendre la forme : « Dans la version binaire du code de la première IA que tu penses pouvoir être un génie, le symbole nième est-il un zéro ? »
• [9]
  On pourrait imaginer un oracle ou un génie légèrement plus complexe qui n’accepterait des questions ou des demandes que si elles viennent d’une autorité précise… méme si cela laisse entière la possibilité que cette autorité soit corrompue ou qu’on la fasse chanter.
• [10]
  John Rawls, une des figures mondiales de la philosophie politique du xx^e siècle, a utilisé le célèbre dispositif du voile d’ignorance pour caractériser les préférences qu’il faudrait prendre en compte en formulant le contrat social. Il propose que nous imaginions que nous devons choisir un contrat social derrière ce voile d’ignorance qui nous empêche de savoir quelle personne nous serons et quel rôle social nous tiendrons, parce que dans une telle situation nous devons réfléchir à la société qui serait globalement la plus juste et la plus souhaitable sans nous préoccuper de nos intérêts particuliers et des biais qui nous feraient autrement préférer un ordre social dans lequel nous aurions des privilèges injustes (Rawls, 1971, trad. 1987).
• [11]
  Karnofsky (2012).
• [12]
  On pourrait faire une exception : un logiciel pris en main par des actionneurs suffisamment puissants, tels les logiciels des systèmes d’alerte précoce, connecté directement à des ogives nucléaires ou à des officiers autorisés à lancer des attaques nucléaires. Des dysfonctionnements dans ce genre de logiciel peuvent déboucher sur des situations à haut-risque. De mémoire d’homme, c’est arrivé au moins deux fois : le 9 novembre 1979, un problème d’ordinateur a mené NORAD (commandement de la défense aérospatiale nord-américaine) à faire un rapport faux à propos d’une attaque soviétique grandeur nature sur les États-Unis. Les États-Unis ont préparé des représailles immédiates avant que des données des systèmes de radar d’alerte précoce montrent qu’il n’y avait eu aucune attaque (McLean et Stewart, 1979). Le 26 septembre 1983, le dysfonctionnement du système d’alerte nucléaire précoce soviétique Oko annonca une attaque missile venant des États-Unis. Cette annonce a été correctement identifiée comme fausse alarme par l’officier de service au centre de commandement, Stanislas Petrov : décision dont on a reconnue qu’elle avait évité une guerre thermonucléaire (Lebedev, 2004). Il semble qu’une guerre n’aurait probablement pas produit l’extinction du genre humain, même si elle avait mobilisé tous les arsenaux des puissances nucléaires au plus fort de la Guerre Froide, mais elle aurait détruit la civilisation et causé de nombreux morts et beaucoup de souffrance (Gaddis, 1982 ; Parrington, 1997). Mais des stocks plus importants pourraient être accumulés pour les courses aux armements à venir, et des armes encore plus meurtrières inventées, ou nos modèles des impacts d’un Armageddon nucléaire (en particulier de la gravité de l’hiver nucléaire qui le suivrait) pourraient être faux.
• [13]
  Cette approche correspond à la catégorie des méthodes de contrôle fondée sur une spécification directe des règles.
• [14]
  La situation est la même si le critère spécifie une mesure de ce qu’il faut faire au lieu d’une coupure nette de ce qui est ou non une solution.
• [15]
  Un partisan des oracles pourrait faire valoir qu’il existe au moins une possibilité que l’utilisateur repère un défaut dans la solution proposée – voir qu’il ne parvienne pas à s’en tenir aux intentions de l’utilisateur même s’il satisfait le critère formel. L’éventualité de repérer une erreur à ce stade dépendrait de plusieurs facteurs, y compris de savoir si les réponses de l’oracle sont compréhensibles par les humains ou s’il est charitable en choisissant les caractères du résultat sur lesquels attirer l’attention de l’utilisateur.
  Sinon, au lieu de se fier à l’oracle pour remplir ces fonctionnalités, on devait mettre au point un autre outil pour le faire, qui analyserait ce que dit l’oracle et nous aiderait en nous montrant ce qui arriverait si l’on se fiait à lui pour agir. Mais le faire, ce serait mettre au point un autre oracle superintelligent et il faudrait se fier à ses prophéties ; nous n’aurions pas résolu le problème de la sécurité, nous l’aurions déplacé. On pourrait penser gagner en sécurité en multipliant les oracles pour qu’ils se surveillent mutuellement, mais cela n’empêcherait pas qu’ils pourraient tous se tromper (ce qui arriverait si on leur avait fourni la même spécification formelle de ce qui est une solution satisfaisante).
• [16]
  Avec un pouvoir computationnel suffisant (fini, mais physiquement invraisemblable), il serait sans doute possible de parvenir à une superintelligence générale avec les algorithmes dont nous disposons aujourd’hui (comme le système AIXItl ; Hutter, 2001). Mais même si la loi de Moore continuait encore pendant cent ans, cela ne suffirait pas pour atteindre le pouvoir computationnel nécessaire.
• [17]
  Bird et Layzell (2002) ; Thompson (1997) ; Yaeger (1994, 13-14).
• [18]
  Williams (1966).
• [19]
  Leigh (2010).
• [20]
  Exemple tiré de Yudkowsky (2011).
• [21]
  Wade (1976). Des expériences informatiques ont aussi été réalisées avec une évolution simulée conçue pour ressembler à la sélection biologique – là encore avec quelquefois des résultats étranges (Yaeger, 1994).