Notes

• [1]
  Ce principe a été introduit dans Bostrom (2009b, 190) où il est également précisé qu’il ne s’agit pas d’un principe tautologique. Pour une analogie visuelle, imaginons une boîte d’un volume très grand mais fini, représentant l’espace des capacités de base obtenues grâce à une certaine technologie ; dans cette boîte, on verse du sable, qui représente l’effort de recherche. La manière de verser le sable détermine les endroits où il s’accumule ; mais si l’on continue à en verser, le sable remplira tout l’espace.
• [2]
  Bostrom (2002b).
• [3]
  Ce n’est pas la politique scientifique qui a été adoptée traditionnellement. Harvey Arverch décrit la politique scientifique et technologique des États-Unis entre 1945 et 1984 comme centrée sur des débats à propos du niveau optimal d’investissement public en Sciences et Techniques et sur la nécessité de « choisir les gagnants » pour accroître au maximum la prospérité économique et la puissance militaire de la nation. Dans ce genre de cadre, on considère toujours que le progrès est un bien. Mais Arverch décrit aussi l’augmentation des perspectives critiques remettant en question ce point de vue (Averch, 1985) ; Graham (1997).
• [4]
  Bostrom (2002b).
• [5]
  Ceci n’est en rien tautologique. On peut imaginer d’argumenter en faveur d’un autre ordre d’arrivée en affirmant qu’il vaudrait mieux que l’humanité affronte d’abord les défis les moins redoutables, le développement des nanotechnologies par exemple, car cela nous forcerait à développer des institutions plus adaptées, à nous coordonner plus étroitement au niveau mondial et à penser de manière plus avancée à la stratégie mondiale. Peut-être que nous nous montrerions plus à la hauteur face à une menace moins confuse sur le plan métaphysique que la superintelligence. Les nanotechnologies (ou la biologie de synthèse, ou quelque défi que ce soit) serviraient alors de marchepied pour nous hisser aux capacités nécessaires qu’exigerait le défi de la superintelligence. Cet argument doit être évalué au cas par cas. Par exemple, pour les nanotechnologies, il faudrait prendre en compte les diverses conséquences qu’auraient sur les performances en hardware les supports computationnels fabriqués grâce à elles ; les effets de la réduction du capital pour la manufacture sur la croissance économique ; la prolifération des techniques sophistiquées de surveillance ; la possibilité qu’un singleton émerge comme effet direct ou indirect de la révolution nanotechnologique ; et l’opportunité de réaliser une émulation neuromorphique du cerveau entier menant à la machine intelligente. Traiter de toutes ces questions n’entre pas dans le cadre de ce livre (ni les autres questions parallèles posées par d’autres technologies présentant un risque existentiel). Nous ne faisons ici qu’attirer l’attention sur l’importance, à première vue, de commencer par la superintelligence ; et nous insistons sur les complications qui pourraient en résulter.
• [6]
  Pinker (2011) ; Wright (2001).
• [7]
  On est tenté de dire que l’hypothèse selon laquelle tout s’est accéléré n’a aucun sens puisqu’elle ne semble pas, à première vue, avoir des conséquences observables ; mais voir Shoemaker (1969).
• [8]
  Le niveau de préparation ne peut pas être mesuré par la quantité d’efforts dépensés pour y parvenir, mais par le caractère propice de la situation obtenue et de la position favorable des décideurs clés pour agir de manière appropriée.
• [9]
  Un autre facteur pourrait bien être l’ampleur de la confiance de la communauté internationale pendant l’aube de l’explosion de l’intelligence. Nous allons y revenir plus loin dans ce chapitre.
• [10]
  De manière anecdotique, on peut dire que ceux qui s’intéressent aujourd’hui au problème du contrôle sont groupés à l’une des extrémités de la distribution de l’intelligence ; mais on peut expliquer sans doute autrement cette impression. Si ce domaine devient à la mode, il attirera probablement les médiocres et les marginaux.
• [11]
  J’emprunte ce terme à Carl Shulman.
• [12]
  À quel point une machine intelligente doit-elle être semblable à un cerveau pour être considérée comme une émulation du cerveau entier plutôt que comme une IA neuromorphique ? Si le système reproduit les valeurs ou toutes les tendances cognitives et de jugement d’un individu particulier ou d’un être humain en général, cela ferait une différence pour la question du contrôle. Il faudrait une émulation de très haute fidélité pour capturer ces propriétés.
• [13]
  L’ampleur de cette accélération dépendrait évidemment de l’ampleur et des sources de cette accélération. Il pourrait ne pas y avoir un véritable progrès si toutes les ressources complémentaires investies dans l’émulation étaient soustraites à la recherche en neurosciences (à moins qu’un recentrage strict sur la recherche en émulation se révèle plus efficace pour avancer en neurosciences que ne le sont leurs projets habituels).
• [14]
  Drexler (1986, 242). Drexler (communication personnelle) confirme que cette reconstruction correspond bien à son raisonnement. Évidemment, un certain nombre de prémisses implicites devraient être ajoutées pour donner à cet argument la forme d’une chaîne de déductions (remarquons que Drexler n’est pas d’accord avec l’argumentation discutée plus loin).
• [15]
  Peut-être ne devrions-nous pas accueillir favorablement les petites catastrophes qui augmenteraient notre vigilance au point qu’elle nous éviterait les catastrophes moyennes qui seraient nécessaires pour nous inviter à prendre des précautions sérieuses pour éviter les catastrophes existentielles ? (et bien sûr, exactement comme dans le cas du système immunitaire, nous devrions nous préoccuper des sur-réactions, comme les allergies et les maladies auto-immunes).
• [16]
  Lenman (2000) ; Burch-Brown (2014).
• [17]
  Bostrom (2007).
• [18]
  Ceci nous rend attentifs à l’ordre d’arrivée des événements plutôt qu’au moment où ils se produisent. Faire en sorte que la superintelligence arrive plus tôt n’aiderait à anticiper les risques existentiels d’autres transitions que si l’intervention change la séquence des événements-clés : par exemple en oeuvrant pour que la superintelligence soit obtenue avant que ne se produisent des étapes décisives en nanotechnologie ou en biologie de synthèse.
• [19]
  S’il est beaucoup plus difficile de résoudre le problème du contrôle que celui de la performance de la machine intelligente, et si les compétences du projet ne sont que faiblement corrélées à sa taille, il est possible qu’il soit alors préférable qu’un projet limité vienne en premier, en fait si la variance des compétences est supérieure avec ces projets limités. Dans une telle situation, même si les projets limités sont en moyenne moins compétents que les plus grands, il serait moins invraisemblable qu’un petit projet donné en vienne à avoir la compétence monstrueusement grande de résoudre le problème du contrôle.
• [20]
  Ce qui ne veut pas dire qu’il est inimaginable que des outils favorisent la délibération mondiale, qui bénéficieraient ou même requerraient des progrès supplémentaires en hardware, une meilleure recherche, un accès total au smartphones, des environnements de réalité virtuelle propices aux rapports sociaux.
• [21]
  L’investissement dans la technologie de l’émulation accélérerait les progrès vers celle du cerveau entier non seulement directement (grâce à des objets techniques) mais aussi indirectement en créant un groupe de pression qui pousserait à financer plus et à donner une meilleure visibilité et crédibilité à l’émulation du cerveau entier.
• [22]
  Que perdrait-on de la valeur attendue si l’avenir était conçu par les désirs de n’importe quel humain plutôt que par ceux de toute l’humanité ? La réponse à cette question dépendrait en grande partie de la norme d’évaluation que nous utiliserions et de l’idéalisation ou non des désirs en question.
• [23]
  Par exemple, alors que les esprits humains communiquent lentement par le langage, les IA pourraient être conçues pour que des exemplaires du même programme puissent facilement et rapidement s’échanger les aptitudes comme les informations. Les esprits-machine conçus ab initio pourraient toujours supprimer les systèmes lents hérités de nos ancêtres qui leur permettaient d’interagir avec leur environnement naturel mais seraient sans intérêt dans le cyberespace. Les esprits digitaux pourraient aussi être conçus pour tirer parti de processus sériels rapides inaccessibles aux cerveaux biologiques, et pour faciliter l’installation de nouveaux modules avec des fonctionnalités très optimisées (le traitement symbolique, la reconnaissance de patterns, les simulateurs, l’extraction des données et la planification). L’intelligence artificielle pourrait présenter aussi certains avantages non techniques : elle serait plus facilement brevetable et moins intriquée dans les complexités éthiques que les humains téléchargés.
• [24]
  Si p₁ et p₂ sont les probabilités d’échec à chaque étape, la probabilité totale d’échec est p₁ + (1 – p₁) p₂, puisqu’on ne peut échouer à la fin qu’une seule fois.
• [25]
  Il est évidemment envisageable que le favori n’ait pas autant d’avance et ne parvienne pas à former un singleton. Ou qu’un singleton soit formé avant l’IA même sans intervention de l’ECE, auquel cas cette raison de favoriser le scénario de l’arrivée en premier de l’ECE devient obsolète.
• [26]
  Pour qui veut promouvoir l’ECE, existe-t-il un moyen d’orienter son soutien pour que cela accélère l’ECE tout en minimisant les retombées négatives sur le développement de l’IA ? Soutenir financièrement la technologie du scanner est sans doute un pari plus sûr que soutenir la modélisation neurocomputationnelle (soutenir l’amélioration du hardware a peu de chance de faire vraiment la différence d’une manière ou d’une autre, à cause des grands intérêts commerciaux qui de toute façon encouragent ce domaine).
  Apporter un soutien à la technologie de scanner permettrait d’augmenter la probabilité d’un résultat multipolaire en exposant moins le scan à devenir un goulet d’étranglement et donc en augmentant les chances que la première population d’émulations soit constituée d’originaux humains très différents les uns des autres plutôt que d’une myriade de copies d’un nombre infime d’originaux. Les progrès de cette technologie éviteraient que l’embouteillage concerne en fait le hardware, ce qui ralentirait la transition.
• [27]
  Les IA neuromorphiques souffriraient aussi de l’absence de certaines sécurités de l’ECE, comme le fait d’avoir des pouvoirs et des faiblesses cognitifs comme les humains biologiques (ce qui nous laisserait utiliser notre expérience des humains pour voir ce que nous attendons des capacités du système à chaque étape de son développement).
• [28]
  Si quelqu’un soutient l’ECE pour qu’elle arrive avant l’IA, il lui faudra garder à l’esprit qu’accélérer l’ECE ne changera l’ordre d’arrivée que si les deux techniques pour parvenir à la superintelligence sont proches l’une et l’autre du succès, et que l’IA a un léger avantage. Autrement, soit l’investissement dans l’ECE aura seulement pour effet que l’ECE arrivera plus tôt qu’elle ne l’aurait fait sans ce soutien (réduction des progrès en hardware et du temps de préparation) mais sans affecter la séquence d’arrivée ; soit un tel investissement dans l’ECE aura un peu d’effet (peut-être faire arriver plus tôt encore l’IA en stimulant les progrès de l’IA neuromorphique).
• [29]
  Commentaires dans Hanson (2009).
• [30]
  Il y aurait bien sûr une ampleur et une imminence de risque existentiel devant lesquelles il serait préférable, même du point de vue de ce qui affecte les personnes, de temporiser (soit pour qu’on puisse vivre encore un peu avant le tombé de rideau, soit pour avoir plus de temps pour ralentir les recherches et donc le danger).
• [31]
  Supposons qu’on pourrait faire quelque chose qui aurait pour conséquence que l’explosion de l’intelligence se rapprocherait d’un an. Disons que les terriens meurent les uns après les autres au rythme de 1 % par an, et que le risque d’une extinction du genre humain à cause de l’explosion de l’intelligence soit de 20 % (nombre arbitraire pour les besoins de notre exemple). Avancer l’arrivée de cette explosion d’un an ferait (du point de vue de ce qui affecte les personnes) passer ce risque de 20 % à 21 %, à savoir une augmentation de 5 %. Cependant, une bonne partie de ceux qui seraient en vie pendant l’année qui précèderait le début de l’explosion auraient intérêt à la retarder s’ils pouvaient ainsi réduire le risque d’explosion d’un point (puisque la plupart des individus estimeraient que leur propre risque de mourir dans l’année serait inférieur à 1 % ; d’autant que la mortalité touche surtout des secteurs démographiques étroits comme les personnes fragiles ou âgées). On aurait donc un modèle dans lequel, chaque année, la population voterait le retardement de l’explosion de l’intelligence pour encore une année, de sorte qu’en fait l’explosion ne se produirait jamais, même si chacun de ceux encore en vie serait d’accord pour dire qu’il faudrait que cette explosion se produise à un moment ou un autre. En réalité, évidemment, les échecs de coordination, les limites de prédictibilité ou les préférences pour autre chose que la survie personnelle empêcheraient sans doute qu’on en arrive là.
  Maintenant, si l’on adopte le point de vue économique et non celui de ce qui affecte les personnes, l’ampleur de l’avantage potentiel diminue puisque la valeur que les individus accorderaient à avoir des existences d’une durée astronomique serait brusquement diminuée. Et c’est particulièrement vrai si le facteur de réduction s’applique au temps de vie subjective de chaque individu et non au temps sidéral. Si les bénéfices à venir sont réduits au rythme de x % par an, et que le niveau antécédent de risque existentiel venant d’autres sources est de y % par an, le point optimal pour que survienne l’explosion de l’intelligence serait le moment où le report de l’explosion d’une année produirait moins que x + y points de pourcentage de réduction du risque existentiel associé à l’explosion de l’intelligence.
• [32]
  Je suis très reconnaissant à Carl Shulman et à Stuart Armstrong de m’avoir aidé pour ce modèle : voir Shulman, 2010a, 3) : « Chalmers (2010) parle d’un consensus parmi les cadets et l’état-major de l’Académie militaire américaine de West Point pour affirmer que le Gouvernement des États-Unis n’exerce aucune pression pour freiner les recherches en IA, même devant l’éventualité d’une catastrophe, de peur que des pouvoirs rivaux ne prennent un avantage décisif ».
• [33]
  C’est-à-dire que l’information est toujours mauvaise a priori. Bien sûr, en fonction de ce qu’est de fait l’information, il se peut que, dans certains cas, il soit bénéfique de la faire connaître, en particulier si l’écart entre le premier et le deuxième est beaucoup plus élevé qu’on aurait pu le croire à l’avance.
• [34]
  Il pourrait même présenter un risque existentiel s’il était précédé de l’introduction de nouvelles technologies militaires de destruction ou d’une accumulation inédite d’armes.
• [35]
  Ceux qui travaillent à un projet pourraient être distribués sur un grand nombre de sites différents et communiquer grâce à des canaux cryptés. Cependant, cette tactique impliquerait des compromis quant à la sécurité : la dispersion géographique offre certes des avantages face à une attaque militaire, mais elle entrave la sécurité opérationnelle puisqu’il est plus délicat d’empêcher les personnels de faire défection, de faire fuiter des informations ou d’être enlevés par un pouvoir concurrent s’ils sont répartis sur des sites très nombreux.
• [36]
  On peut remarquer qu’un facteur de réduction temporelle élevé pourrait entraîner qu’un projet se comporte comme dans une course, même s’il sait qu’il n’a pas de compétiteur réel. Un tel facteur signifie qu’on se soucie peu de l’avenir lointain. Selon la situation, cela découragerait les R & D douteux qui tendraient à retarder la révolution de la machine intelligente (la rendant peut-être plus abrupte au moment où elle se produirait, à cause des progrès en hardware). Mais ce facteur élevé de réduction (ou une indifférence vis-à-vis des générations futures) semblerait rendre le risque existentiel moins important. Et cela encouragerait à parier sur la possibilité de gains immédiats considérables au prix de l’augmentation du risque existentiel ; ce qui motiverait à investir moins dans la sécurité et à procéder plus vite au lancement de l’explosion, reproduisant ainsi les effets d’une dynamique de course. Mais contrairement à celle-ci, un facteur de réduction élevé (ou l’indifférence pour le futur) n’inciterait pas particulièrement au conflit.
  Réduire la dynamique de course est l’avantage principal de la collaboration ; celle-ci faciliterait l’échange de points de vue sur la résolution du problème du contrôle, même si cette collaboration favoriserait aussi l’échange d’idées sur la résolution du problème des compétences. L’effet de cette facilitation du partage d’idées augmenterait aussi légèrement l’intelligence collective de la communauté de chercheurs concernés.
• [37]
  D’un autre côté, ce genre de surveillance publique par un seul gouvernement pourrait aboutir à ce qu’une seule nation monopolise les gains récoltés. Et il serait préférable que des altruistes indépendants s’assurent que chacun a des chances d’y gagner. Qui plus est, la surveillance par un gouvernement national n’impliquerait pas nécessairement que tous ses citoyens recevraient une part du bénéfice : selon le pays, il y aurait un risque plus ou moins élevé que tous les bénéfices ne soient ramassés que par une élite politique ou quelques membres intéressés de l’administration.
• [38]
  Une réserve : l’utilisation d’une enveloppe incitative (dont nous avons discuté au chapitre 12) pourrait, dans certaines circonstances, encourager certains à se joindre à un projet en tant que collaborateurs actifs plutôt que comme des profiteurs passifs.
• [39]
  Les rendements décroissants sembleraient se limiter à une plus petite échelle. La plupart des gens auraient une étoile plutôt qu’une chance sur un million d’avoir une galaxie avec un milliard d’étoiles. En fait, la plupart d’entre nous auraient un milliardième des ressources terrestres plutôt qu’une chance sur un milliard de posséder la planète entière.
• [40]
  Shulman (2010a).
• [41]
  Les théories éthiques agrégatives fonctionnent mal quand l’idée que le cosmos est infini est prise au sérieux (voir Bostrom, 2011b). Et aussi quand l’idée de valeurs ridiculement grandes mais finies est prise au sérieux (Bostrom, 2009b).
• [42]
  Si l’on fabrique un ordinateur plus grand, on peut être confronté à des contraintes tenant aux latences de communication entre les différentes parties de l’ordinateur : les signaux ne se propagent pas plus vite que la lumière. Si l’on réduit l’ordinateur, on rencontre les limites quantiques de la miniaturisation. Si l’on accroît la densité de l’ordinateur, on s’écrase contre les limites d’un trou noir. Il faut s’y résoudre, on ne peut pas être tout à fait sûr qu’une physique nouvelle ne permettra pas un jour de contourner ces limites.
• [43]
  Le nombre de copies d’une personne varierait linéairement avec les ressources, sans limite supérieure. Mais on ne sait pas précisément la valeur que l’être humain moyen accorderait à avoir de lui-même plusieurs copies. Mêmes ceux qui préféreraient être multipliés pourraient ne pas avoir de fonction d’utilité proportionnelle aux nombre de copies. Les nombres de copies, comme les années de vie, pourraient avoir des rendements décroissants dans la fonction d’utilité d’une personne.
• [44]
  Un singleton est, en interne, très collaboratif au niveau supérieur de décision. Un singleton pourrait avoir des non-collaborations et des conflits aux niveaux inférieurs, si c’est le choix qu’ont fait ceux qui ont constitué le singleton.
• [45]
  Si chaque équipe d’IA est convaincue que les autres équipes se fourvoient au point de n’avoir aucune chance de produire une explosion de l’intelligence, l’une des raisons de collaborer (ce qui éviterait la dynamique de course) disparait : chaque équipe devrait, indépendamment des autres, aller plus lentement en pensant qu’elle n’a pas de vraie rivale.
• [46]
  Une thèse d’étudiant.
• [47]
  Il faut comprendre que cette formulation inclut qu’il faudrait parvenir aussi au bien-être des animaux non-humains et des autres êtres sensibles (y compris les esprits digitaux). Elle ne signifie en aucun cas la liberté d’un développeur d’IA de substituer ses intuitions morales personnelles à celles de la communauté morale. Ce principe est cohérent avec la « volonté morale extrapolée » discutée au chapitre 12, dont la base d’extrapolation inclut tous les humains.
  Il faut être encore plus clair : ce principe ne vise pas à exclure la possibilité de droits de propriété des superintelligences artificielles après la transition ou des algorithmes et des bases de données qu’elles incluraient. Il vise à être agnostique face aux systèmes juridiques ou politiques qui serviraient à organiser au mieux les transactions dans la société du futur. Ce que dit ce principe, c’est que le choix d’un système, dans la mesure où sa sélection est causalement déterminée par ce qui a été initialement prévu dans la superintelligence, devra se faire sur la base du critère établi : le système constitutionnel de la post-transition devra être choisi pour le bien de toute l’humanité et servir les idéaux éthiques les plus largement partagés (et non, par exemple, l’intérêt de quiconque aura été le premier à développer la superintelligence).
• [48]
  On pourrait apporter des précisions sur cette clause : par exemple, le seuil de profit pourrait être exprimé en termes de « par personne », ou bien peut-être que le gagnant devrait être autorisé à conserver plus qu’une part égale à celle des autres, de manière à l’inciter plus fortement à produire plus (une version du principe du maximin de Rawls pourrait être intéressante). D’autres raffinements pourraient détourner la clause de la rentrée de l’argent et la recentrer sur « l’influence sur l’avenir de l’humanité » ou sur «le degré auquel les intérêts des différentes parties seront inclus dans la fonction d’utilité du futur singleton », ou quelque chose de ce genre.