Avant-propos

Dans votre crâne, la chose avec laquelle vous êtes en train de lire. Cette chose, le cerveau humain, a des capacités que les autres espèces n’ont pas. Et ce sont ces capacités-là qui nous permettent d’asseoir notre domination sur la planète. Les autres animaux ont une musculature plus puissante, des griffes plus acérées, mais nos cerveaux sont plus intelligents. Ce petit avantage en intelligence générale nous a permis de développer le langage, la technologie ainsi qu’une organisation sociale complexe. Il s’est accru avec le temps car chaque génération s’est appuyée sur les réussites de celles qui l’ont précédée.
S’il nous arrive un jour de construire une machine dotée d’une intelligence générale qui surpassera celle de l’être humain, cette superintelligence pourrait bien alors devenir très puissante. Et, de la même manière que le sort des gorilles dépend aujourd’hui plus des êtres humains que d’eux-mêmes, le sort réservé à notre espèce dépendra des activités-mêmes de cette machine.
Nous avons, c’est vrai, un avantage : c’est nous qui construisons le truc. En principe, on devrait pouvoir mettre au point une superintelligence qui protègerait les valeurs humaines. Et nous aurions bien entendu de très bonnes raisons de le faire. Mais en pratique, ce « problème du contrôle » (contrôle de ce que cette superintelligence ferait) se révèle bien délicat. Tout se passe comme si nous n’avions qu’une seule chance : une fois construite une machine hostile, elle nous empêcherait de la remplacer ou de modifier ses préférences…