Notes

• [1]
  Ce qui ressemble à la définition de Bostrom (2003c) et de Bostrom (2006a). Cela peut également être comparé à la définition de Shane Legg (« L’intelligence mesure la capacité d’un agent d’atteindre ses objectifs dans une variété d’environnements ») et avec ses formalisations (Legg, 2008). C’est aussi similaire à la définition que donne Good de l’ultra-intelligence au chapitre 1 (« une machine qui peut surpasser de loin toutes les activités intellectuelles d’un homme pourtant particulièrement intelligent »).
• [2]
  Pour cette même raison, nous ne formulons aucune hypothèse sur l’existence d’une « véritable intentionnalité » de la machine superintelligente (selon Searle oui, mais ce n’est pas important ici). Et nous ne prenons pas non plus position dans le débat entre internalisme et externalisme à propos du contenu mental, qui a agité la littérature philosophique, ni sur la thèse de l’extension de l’esprit (Clark et Chalmers, 1998).
• [3]
  Turing (1950, 456). Traduction française d’Alan Ross Anderson, Pensée et machine, Seyssel, Éditions du Champ Vallon, 1983, p. 63.
• [4]
  Ibid.
• [5]
  Chalmers (2010) ; Moravec (1976, 1988, 1998, 1999).
• [6]
  Voir Moravec (1976). Un argument similaire est avancé par Chalmers (2010).
• [7]
  Voir aussi Shulman et Bostrom (2012) pour plus de détails.
• [8]
  C’est l’argument que donne Legg à l’appui de l’affirmation que les humains seront capables de récapituler le progrès évolutif à une échelle bien plus brève et avec des ressources computationnelles réduites (même si celles-ci, mal ajustées, sont hors de portée). Baum (2004) considère que certains développements concernant l’IA se sont produits antérieurement, lors de l’intégration, dans l’organisation du génome lui-même, d’une représentation utile pour les algorithmes évolutifs.
• [9]
  Whitman et al. (1998) ; Sabrosky (1952).
• [10]
  Schultz (2000).
• [11]
  Menzel et Giurfa (2001, 62) ; Truman et al. (1993).
• [12]
  Sandberg et Bostrom (2008).
• [13]
  Voir Legg (2008) pour une discussion de ce point et du rôle des fonctions ou des environnements déterminant une fitness basée sur le paysage lisse des tests de l’intelligence pure.
• [14]
  Voir Bostrom et Sandberg (2009b) pour une taxinomie et une discussion détaillée des moyens, pour les ingénieurs, de faire mieux que l’évolution biologique sélective.
• [15]
  L’analyse a porté sur le système nerveux des êtres vivants, sans tenir compte du coût des simulations ou de l’environnement virtuel comme éléments de la fonction de fitness. Il est possible qu’une fonction de fitness adéquate puisse tester la compétence d’un organisme particulier avec beaucoup moins d’opérations qu’il en faudrait pour simuler toute la computation neuronale du cerveau d’un organisme au cours de sa vie. Aujourd’hui, il est fréquent que les programmes d’IA tournent dans des environ-nements très abstraits (les démonstrations de théorèmes dans l’univers des symboles mathématiques, les agents dans les tournois mondiaux de jeux, etc.).
  Un sceptique ferait remarquer qu’un environnement abstrait ne convient pas à l’évolution de l’intelligence générale ; l’environnement devrait au contraire ressembler étroitement à l’environnement biologique réel dans lequel nos ancêtres ont évolué. Créer un monde virtuel réaliste nécessiterait un investissement dans les ressources computationnelles très supérieur à celui qui est utilisé dans la simulation de l’univers des jeux ou dans les problèmes abstraits (alors que l’évolution a bénéficié d’un accès libre à un monde réel réaliste). À la limite, si l’on insistait sur l’exactitude micro-physique complète, les exigences computationnelles augmenteraient dans des proportions ridicules. Pourtant, un tel pessimisme est presqu’à coup sûr infondé : il est peu probable que le meilleur environnement pour faire évoluer l’intelligence soit une copie très précise de la nature. Bien au contraire, il serait plus efficace de recourir à un environnement de sélection artificielle, tout à fait différent de celui de nos ancêtres mais spécialement conçu pour promouvoir des adaptations qui augmenteraient le type d’intelligence qu’on veut voir évoluer (le raisonnement abstrait et des aptitudes générales à la résolution de problèmes par exemple, et non les réactions instinctives ou un système visuel optimisé).
• [16]
  Wikipedia (2012b).
• [17]
  Pour une conception générale de la théorie de la sélection des observations, voir Bostrom (2002a). Pour son application à notre domaine, voir Shulman et Bostrom (2012). Pour une brève introduction accessible, voir Bostrom (2008b).
• [18]
  Sutton et Barto (1998, 21f) ; Schultz et al. (1997).
• [19]
  Ce terme a été introduit par Yudkowsky (2007).
• [20]
  C’est le scénario que décrivent Good (1965) et Yudkowsky (2007). Cependant, on pourrait aussi prendre en considération un autre scénario, dans lequel la séquence itérative parcours quelques étapes qui ne concernent pas l’augmentation de l’intelligence mais une simplification de la structure. Ce qui signifie qu’à certains moments, l’IA germe se réécrirait elle-même de manière à trouver plus facilement les moyens de s’augmenter par la suite.
• [21]
  Helmstaedter et al. (2011).
• [22]
  Andres et al. (2012).
• [23]
  Certes, il convient pour des formes de fonctionnement et de communication utiles en pratique ; mais il demeure radicalement pauvre par rapport à l’interfaçage des muscles et des organes sensoriels d’un organisme humain normal.
• [24]
  Sandberg (2013).
• [25]
  Voir la partie « Computer requirements » de Sandberg et Bostrom (2008, 79-81).
• [26]
  Un succès moindre pourrait être une simulation du cerveau avec une micro-dynamique évoquant le fonctionnement biologique, qui serait capable d’un ensemble d’activités typiques de l’espèce comme l’état de sommeil lent ou la plasticité au cours de l’activité. Une telle simulation pourrait être un banc d’essai pour la recherche en neurosciences (même si elle s’approcherait de questions éthiques sérieuses), mais ne compterait pas comme émulation du cerveau entier tant qu’elle ne serait pas assez précise pour permettre au cerveau simulé d’accomplir une fraction substantielle du travail intellectuel. En général on peut dire que, pour qu’une simulation soit une émulation du cerveau entier, elle doit pouvoir exprimer verbalement des pensées cohérentes ou être capable d’apprendre à le faire.
• [27]
  Sandberg et Bostrom (2008).
• [28]
  Sandberg et Bostrom (2008). Le rapport original comporte de plus amples informations.
• [29]
  La première cartographie est élaborée par Thomson (1976) et White et al. (1986). Le réseau complet (et dans certains cas corrigé) est disponible sur le site de WormAtlas (http://www.wormatlas.org/).
• [30]
  Pour une revue des essais effectués pour émuler C. elegans, et ce qu’elles ont donné, voir Kaufman (2011). Il cite un doctorant ambitieux, qui travaille sur ce sujet, David Dalrymple : « Avec les techniques d’optogénétique, nous sommes parvenus au moment où il n’est pas scandaleux de proposer de lire et d’écrire ce qu’on trouve n’importe où dans le système nerveux d’un C. elegans vivant, en utilisant un système automatisé à haut débit… J’espère en avoir fini avec le C. elegans d’ici 2 ou 3 ans. Je serais très surpris, pour ce que ça vaut, que ce soit encore un problème ouvert en 2020 » (Darlymple, 2011). Les modèles du cerveau visant un réalisme biologique qui ont été codés à la main (et pas générés automatiquement) sont parvenus à une fonctionnalité de base ; voir Eliasmith et al. (2012).
• [31]
  Caenorhabditis elegans a vraiment des propriétés spéciales qui s’y prêtent. Par exemple, il est transparent, et le pattern des connexions de son système nerveux ne change pas d’un individu à l’autre.
• [32]
  Si le produit fini est une IA neuromorphique et non une émulation du cerveau entier, il se pourrait que la compréhension pertinente soit ou non issue des essais de simulation du cerveau humain. On peut penser que les astuces importantes du cortex soient découvertes par des études de cerveaux d’animaux non-humains. Il est plus facile de travailler sur certains d’entre eux que sur les cerveaux humains, et des cerveaux plus petits nécessitent moins de capacités de balayage et de modélisation. La recherche sur les cerveaux humains est moins sujette à des réglementations. On peut tout à fait imaginer que la première machine intelligente sera créée en réalisant une émulation d’un cerveau entier d’un animal approprié suivie d’augmentations du cerveau digital obtenu. L’humanité recevrait donc ce qu’elle mérite d’une souris ou d’un macaque de laboratoire.
• [33]
  Uauy et Dangour (2006) ; Georgieff (2007) ; Stewart et al. (2008) ; Eppig et al. (2010) ; Cotman et Berchtold (2002).
• [34]
  Selon l’Organisation Mondiale de la Santé, en 2007 près de 2 milliards d’individus manquaient d’iode (The Lancet, 2008). La déficience grave d’iode empêche le développement neurologique et peut mener au crétinisme, qui correspond à une perte de 12,5 points de QI (Quian et al., 2005). On peut pallier largement et à peu de frais ce problème et augmentant les doses de sel ingéré.
• [35]
  Bostrom et Sandberg (2009a).
• [36]
  Bostrom et Sandberg (2009b). Une amélioration typique supposée de la performance grâce à l’augmentation pharmacologique et nutritionnelle est de l’ordre de 10-20 % dans les tests mesurant la mémoire de travail, l’attention, etc. Mais on ne sait pas si ces gains sont réels, durables à long terme, et s’ils sont corrélés à une amélioration des résultats dans les problèmes posés dans des situations réelles (Repantis et al., 2010). Par exemple, dans certains cas, il peut se produire une détérioration de quelques dimensions de la performance qui ne sont pas mesurées par les taches impliquées dans les tests (Sandberg et Bostrom, 2006).
• [37]
  S’il existait un moyen efficace d’augmenter la cognition, on peut penser que l’évolution en aurait déjà tiré parti. C’est la raison pour laquelle le type de nootrope sur lequel il faut faire des recherches serait celui qui permet d’augmenter l’intelligence d’une manière qui a abaissé la fitness dans l’évolution de nos ancêtres : l’accroissement du volume de la tête à la naissance ou l’amplification du métabolisme du glucose, par exemple. Pour une analyse plus détaillée, voir Bostrom (2009b).
• [38]
  Les spermatozoïdes sont plus difficiles à scanner parce que, contrairement aux embryons, ils consistent en une seule cellule, or il faut détruire une cellule pour la séquencer. Les ovocytes aussi ne contiennent qu’une cellule, mais la première et la deuxième division de cette cellule sont asymétriques et produisent une cellule fille avec très peu de cytoplasme, le globule polaire. Puisque ces globules contiennent le même génome que la cellule mère et sont redondants (ils finissent par dégénérer), on peut en faire la biopsie et l’utiliser pour le balayage (Gianaroli, 2000).
• [39]
  Chacune de ces pratiques a fait l’objet de controverses éthiques au moment où elle a été introduite, mais il semble qu’elles soient de plus en plus acceptées. Les attitudes face à l’ingénierie génétique et à la sélection des embryons change d’une culture à l’autre ; leur développement et leur application se déroulera sans doute même dans les pays qui se sont au départ révélés prudents, mais avec un rythme qui dépendra des pressions morales, religieuses et politiques.
• [40]
  Davies et al. (2011) ; Benyamin et al. (2013) ; Plomin et al. (2013). Voir aussi Mardis (2011) ; Hsu (2012).
• [41]
  Les estimations de l’héritabilité au sens large du QI varient de 0.5 à 0.8 dans la classe moyenne des pays développés (Bouchard, 2004, 148). L’héritabilité au sens étroit, qui mesure la partie de la variance qu’on attribue à des facteurs génétiques additifs, est plus faible : de 0.3 à 0.5 mais elle reste importante (Devlin et al., 1997 ; Davies et al., 2011 ; Visscher et al., 2008). Ces estimations varient d’une population et d’un environnement à l’autre car les héritabilités varient avec la population et l’environ-nement étudiés : par exemple, chez les enfants et les groupes défavorisés (Benyamin et al., 2013 ; Turkheimer et al., 2003). Nisbett et al. (2012) analysent les nombreuses influences environnementales sur les différences de capacités cognitives.
• [42]
  Les paragraphes qui suivent sont largement étayés sur les travaux que j’ai réalisés avec Shulman (2014).
• [43]
  Ce tableau est repris à Bostrom et Shulman, 2014. Il est fondé sur un modèle simplifié qui propose une distribution gaussienne de la probabilité du QI chez des embryons avec un écart-type de 7,5. L’ampleur de l’amélioration cognitive produite avec différents nombres d’embryons dépend de l’ampleur de la différence entre embryons vis-à-vis des variants génétiques additifs dont nous connaissons les effets. Les frères et sœurs ont un coefficient de parenté de ½, et les variants génétiques additifs communs sont responsables de quasi la moitié de la variance de l’intelligence fluide adulte (Davies et al., 2011). On peut penser, sur la base de ces deux observations, que lorsque l’écart-type pour une population observée dans les pays développés est de 15 points, l’écart-type des influences génétiques dans un échantillon d’embryons, est de quasi 7,5 points.
• [44]
  Sans information complète à propos des effets génétiques additifs sur la capacité cognitive, les tailles d’effet sont réduites. Pourtant, même un gain faible d’information permettrait de faire de vrais progrès parce que ce qu’on gagne avec la sélection n’est pas lié linéairement à la partie de la variance qu’on peut prédire. L’efficacité de la sélection dépend plutôt de l’écart-type du QI moyen attendu, qui est la racine carrée de la variance. Par exemple, si un facteur représente 12,5 % de la variance, cela peut déclencher des effets correspondant à la moitié de ceux qui figurent dans le tableau 4, qui atteignent 50 %. Une étude récente (Roetveld et al., 2013) affirme en comparaison avoir identifié 2,5 % de la variance.
• [45]
  En comparaison, la pratique aujourd’hui recourt à la création de moins de dix embryons en moyenne.
• [46]
  Les cellules souches embryonnaires ou adultes peuvent être orientées pour développer des spermatozoïdes ou des ovocytes, qu’on peut réunir pour former un embryon (Nagy et al., 2008 ; Nagy et Chang, 2007). Les précurseurs des cellules de l’oeuf peuvent également former des blastocystes parthénogénétiques, des embryons non fertilisés et non-viables, capables de produire des lignées de cellules souches embryonnaires (Mai et al., 2007).
• [47]
  Ce point de vue est défendu par Katsuhiko Hayashi, rapporté dans Cyranoski (2013). Le Hinxton Group, consortium international de scientifiques qui débattent de l’éthique vis-à-vis des cellules souches et des défis qui se présentent, a prédit en 2008 que des gamètes humains dérivés des cellules souches seraient obtenus dans la décennie (Hinxton Group, 2008), et ce qui s’est passé depuis semble aller dans ce sens.
• [48]
  Sparrow (2013) ; Miller (2012) ; The Uncertain Future (2012).
• [49]
  Sparrow (2013).
• [50]
  On ne cesse de disserter depuis longtemps sur les impacts de cette technologie sur les inégalités sociales, sur la sécurité médicale de la procédure, les peurs d’une foire d’empoigne pour l’amélioration, les droits et responsabilités des parents vis-à-vis de leur future progéniture, le spectre de l’eugénisme du vingtième siècle, le concept de dignité humaine et des limites de l’implication de l’État dans les choix reproductifs de citoyens (pour une discussion des questions éthiques posées par l’augmentation cognitive, voir Bostrom et Ord, 2006, Bostrom et Roache, 2011, et Sandberg et Savulescu, 2011). Les traditions religieuses posent des questions supplémentaires comme celle du statut moral des embryons ou des limites de l’intervention des hommes sur la création.
• [51]
  Pour empêcher toute consanguinité, la sélection itérative d’embryons exigerait soit un grand nombre de donneurs au départ soit un pouvoir de sélection considérable pour réduire le nombre d’allèles récessifs nocifs. Chaque fois, cela impliquerait que la progéniture soit de moins en moins liée génétiquement à ses parents (et plus liée à d’autres).
• [52]
  On ne sait pas encore à quel point l’épigénétique constituera un obstacle (Chason et al., 2011 ; Iliadou et al., 2011).
• [53]
  Alors que la capacité cognitive est un trait plutôt héritable, peu ou pas d’allèles ou de polymorphismes communs pourraient avoir un effet individuel positif fort sur l’intelligence (Davis et al., 2010 ; Davies et al., 2011 ; Rietveld et al., 2013). Au fur et à mesure que les méthodes de séquençage s’amélioreront, la cartographie des allèles rares avec leurs corrélats cognitifs et comportementaux deviendra plus facile. Nous avons déjà des raisons théoriques de penser que certains allèles qui causent des troubles génétiques chez des homozygotes pourraient constituer des avantages cognitifs non négligeables chez des hétérozygotes, permettant de prédire que des hétérozygotes atteints des maladies de Gaucher, de Tay-Sachs ou de Niemann-Pick gagneraient 5 points de QI de plus que leur groupe contrôle (Cochran et al., 2006). Seul le temps nous permettra de vérifier cette hypothèse.
• [54]
  Un article (Nachman et Crowell, 2000) en estime le nombre à 175 mutations par génome et par génération. Un autre (Lynch, 2010), avec des méthodes différentes, estime que le nouveau-né moyen a entre 50 et 100 nouvelles mutations, et Kong et al. (2012) propose le nombre de 77 nouvelles mutations par génération. La plupart de ces mutations n’affectent en rien le fonctionnement (ou seulement de manière imperceptible ; mais les effets combinés de nombreuses mutations faiblement délétères pourrait entraîner une perte significative de fitness). Voir aussi Crow (2010).
• [55]
  Crow (2000) ; Lynch (2010).
• [56]
  À partir de Shulman et Bostrom (2014).
• [57]
  Bostrom (2008b).
• [58]
  Cette idée mérite quelques mises en garde importantes. Il est possible que le génome nécessite certains ajustements pour éviter des problèmes. Par exemple, des parties de ce génome pourraient être adaptées à interagir avec d’autres sous l’hypothèse que toutes les parties fonctionnent avec plus ou moins d’efficacité. Accroître leur efficacité pourrait mener alors à dépasser des voies métaboliques.
• [59]
  Ces compositions de visages ont été réalisées par Mike Mike à partir de clichés d’individus tirés de Virtual Flavius (Mike, 2013).
• [60]
  Ils peuvent évidemment avoir des effets plus tôt, par exemple en modifiant les attentes des individus sur ce qui va se produire.
• [61]
  Louis Harris et Associates (1969) ; Mason (2003).
• [62]
  Kalfoglou et al. (2004).
• [63]
  Les données sont limitées bien sûr, mais les individus sélectionnés pour des résultats individuels de 1 à 10000 aux tests de capacités chez l’enfant se sont révélés, dans les études longitudinales, devenir plus souvent des professeurs ou de bons hommes d’affaires que ceux qui avaient des scores moins exceptionnels (Kell et al., 2013). Roe (1953) a étudié soixante-quatre grands scientifiques et découvert une capacité cognitive médiane trois à quatre fois supérieure à ce qu’elle est dans la population et beaucoup plus élevée que celle des scientifiques en moyenne (la capacité cognitive est également corrélée avec la réussite professionnelle, comme avec l’espérance de vie, le taux de divorces et la probabilité d’abandon scolaire (Deary, 2012). Une hausse de la distribution de cette capacité aurait des effets proportionnellement très importants, surtout en augmentant le nombre de personnes très douées et en réduisant ceux qui ont un retard mental et des problèmes d’apprentissage. Voir Bostrom et Ord (2006), et Sandberg et Savulescu (2011).
• [64]
  Warwick (2002). Stephen Hawking a même affirmé qu’il faudrait passer par cette étape pour nous maintenir à la hauteur de la machine intelligente : « Nous devons développer aussi vite que possible les technologies qui permettront une connexion directe entre cerveau et ordinateur, et cela pour que l’intelligence artificielle contribue à l’intelligence humaine au lieu du contraire » (in Walsh, 2011). Ray Kurzweil ajoute : « En ce qui concerne la remarque de Hawking sur la connexion directe cerveau-ordinateur, je pense aussi que c’est raisonnable, souhaitable et inévitable (sic). C’est ma recommandation pour de nombreuses années » (Kurzweil, 2001).
• [65]
  Lebedev et Nicolelis (2006) ; Birbaumer et al. (2008) ; Mak et Wolpaw (2009) ; Nicolelis et Lebedev (2009) ; Chorost (2005, ch. 11) présente un point de vue plus personnel sur le problème de l’augmentation cognitive au moyen d’implants.
• [66]
  Smeding et al. (2006).
• [67]
  Degnan et al. (2002).
• [68]
  Dagnelie (2012) ; Shannon (2012).
• [69]
  Perlmutter et Mink (2006) ; Lyons (2011).
• [70]
  Koch et al. (2006).
• [71]
  Schalk (2008) ; Berger et al. (2011) font une présentation générale de l’état de l’art. Au cas où cela aiderait à mener à une intelligence augmentée, voir Warwick (2002).
• [72]
  Exemples dans Bartels et al. (2008) ; Simeral et al. (2011) ; Krusienski et Shih (2011) ; Pasqualotto et al. (2012).
• [73]
  Hinke et al. (1993).
• [74]
  Il y a à cela des exceptions, surtout pour le traitement sensoriel précoce. Par exemple, le cortex visuel primaire recourt à une cartographie rétinotopique, ce qui signifie à peu près que les assemblées de neurones adjacents reçoivent des inputs des aires adjacentes de la rétine (même si les colonnes de dominance oculaire compliquent les choses).
• [75]
  Berger et al. (2012) ; Hampson et al. (2012).
• [76]
  Certains implants cérébraux supposent deux types d’apprentissage : l’apprentissage par le dispositif, nécessaire pour interpréter les représentations neuronales de l’organisme et l’apprentissage par l’organisme, nécessaire pour utiliser le système en générant des patterns d’activation neuronale adaptés (Carmena et al., 2003).
• [77]
  On a pu envisager de considérer les entités institutionnelles (sociétés, syndicats, gouvernements, confessions, etc.) comme des agents intelligents artificiels dotés de capteurs et d’effecteurs, capables de représenter des connaissances et de réaliser à des inférences pour l’action (Kuipers, 2012 ; Huebner, 2008, pour une discussion de l’existence même des représentations collectives). Elles sont clairement puissantes et performantes, même si leurs capacités et leurs états internes sont différents de ceux des humains.
• [78]
  Hanson (1995 ; 2000) ; Berg et Rietz (2003).
• [79]
  Sur le lieu de travail, par exemple, les employeurs pourraient utiliser le détecteur de mensonge pour repérer les employés qui volent ou qui ne travaillent pas, en leur demandant à la fin de chaque journée s’ils ont volé quelque chose ou s’ils ont travaillé autant qu’ils le pouvaient. On pourrait aussi demander aux dirigeants politiques et aux patrons d’industrie s’ils défendent de tout leur cdzur l’intérêt de leurs citoyens ou de leurs actionnaires. Les dictateurs pourraient s’en servir pour démasquer les généraux factieux ou ceux qu’on soupçonne de fomenter des troubles.
• [80]
  On peut imaginer des techniques de neuro-imagerie permettant de détecter des signatures d’une cognition motivée. Sans détecter leur aveuglement, la détection du mensonge serait favorable à ceux qui croient dans leur propre propagande. De meilleurs tests de l’aveuglement pourraient aussi servir à entraîner l’exercice de la rationalité et à étudier l’efficacité des interventions destinées à réduire les biais.
• [81]
  Bell et Gemmel (2009). On trouvera un exemple antérieur dans les travaux de Deb Roy, du MIT, qui a enregistré tous les instants de la vie de son fils pendant ses trois premières années. L’analyse de ces données audiovisuelles apporte des informations sur le développement du langage (Roy, 2012).
• [82]
  La croissance de la population mondiale d’êtres humains biologiques n’interviendra que très peu. Les scénarios qui impliquent une machine intelligente pourraient voir la population mondiale exploser (en incluant les esprits digitaux) de plusieurs ordres de grandeur pendant une brève période. Mais cette route vers l’intelligence implique l’intelligence artificielle ou l’émulation du cerveau entier, et nous ne devons pas en tenir compte ici.
• [83]
  Vinge (1993).