Notes

• [1]
  Il y a aussi des risques existentiels dans les scénarios où l’humanité survit dans un très mauvais état ou bien où une large partie de notre potentiel de développement souhaitable est irréversiblement compromis. Le pire scénario serait celui où on en arriverait à une explosion d’intelligence en passant par des guerres entre les pays en concurrence.
• [2]
  Nous connaîtrions un grand moment de vulnérabilité quand l’IA comprendrait l’intérêt de dissimuler ses progrès. Quand l’idée lui viendrait pour la première fois, elle pourrait ne pas dissimuler délibérément. Mais, ayant compris, l’IA pourrait lentement se mettre à cacher que cette idée lui est venue, et mettre discrètement au point une dynamique interne (éventuellement travestie en un processus inoffensif facile à incorporer à tous les autres processus complexes qui se déroulent dans son esprit) qui lui permettrait de continuer à planifier sa stratégie à long terme en toute confidentialité.
• [3]
  Même les hackeurs humains peuvent écrire des programmes apparemment inoffensifs qui effectuent totalement des choses inattendues ; par exemple, regardez les entrées aux concours du code C le plus indéchiffrable possible (International Obfuscated C Code Contest).
• [4]
  Eliezer Yudkowsky souligne aussi que les mesures de contrôle d’une IA peuvent marcher dans un contexte déterminé tout en échouant de manière catastrophique quand le contexte change (Yudkowsky, 2008a).
• [5]
  Cette expression a semble-t-il été proposée par l’auteur de science-fiction Larry Niven (1973), mais elle est fondée sur des expériences réelles de stimulation de la récompense du cerveau (Olds et Milner, 1954 ; Oshima et Katayama, 2010 ; Ring et Orseau, 2011).
• [6]
  Bostrom (1997).
• [7]
  Il serait possible d’implémenter un mécanisme d’apprentissage par renforcement tel que, lorsque l’IA découvrirait la solution du hackage de hardware, elle perdrait ses capacités et ne pourrait plus étendre les infrastructures. Le problème, c’est que cette mesure pourrait facilement mal tourner et échouer pour diverses raisons.
• [8]
  Ce qui a été suggéré par Marvin Minsky (vide Russell et Norvig, 2010, 1039).
• [9]
  La question de savoir quels types d’esprits digitaux seraient conscients au sens d’avoir une expérience phénoménale subjective, ou des qualia comme disent les philosophes, est ici importante (mais non pertinente pour d’autres points de ce livre). La question est ouverte de savoir à quel point il serait difficile d’estimer avec exactitude comment un être « human-like » se comporterait dans ces circonstances variées si l’on ne simule pas son cerveau de manière assez détaillée pour que cette simulation devienne consciente. Une autre question consiste à se demander s’il y a des algorithmes généralement utiles pour une superintelligence, des techniques d’apprentissage par renforcement par exemple, telles que l’implantation de ces algorithmes génèrent les qualia. Même si nous pensons que la probabilité pour qu’un tel sous-programme soit conscient est très faible, le nombre d’instanciations pourrait être si grand qu’il nous faut accorder un poids moral significatif au risque même infime qu’elles ressentent de la douleur (Metzinger, 2003, chap. 8).
• [10]
  Bostrom (2002a, 2003a) ; Elga (2004).