Pour les articles homonymes, voirBoström.
| Naissance | |
|---|---|
| Nom de naissance | Niklas Boström  |
| Nationalité | |
| Formation | |
| Activités |
| A travaillé pour | |
|---|---|
| Directeurs de thèse | |
| Site web |
Nick Bostrom, néNiklas Boström le en Suède, est un philosophe connu pour ses travaux sur lesrisques existentiels, leprincipe anthropique, l'hypothèse de la simulation et l'impact de technologies futuristes[1] telles que lasuperintelligence.
Il intervient régulièrement aussi sur des sujets tels que letranshumanisme, leclonage, l'intelligence artificielle, letéléchargement de l'esprit, lacolonisation de l'espace, lesbiotechnologies, lesnanotechnologies, lespandémies, laréalité simulée et leprincipe d'indépendance du support[1].
Nick Bostrom a été le directeur de l'Institut pour le Futur de l'Humanité de l'université d'Oxford de 2005 à 2024, et est maintenant chercheur principal àMacrostrategy Research Initiative[2].
Né sous le nom de Niklas Boström en 1973[3] àHelsingborg en Suède, il a une aversion pour l'école dès son jeune âge[4] et a passé sa dernière année de lycée à étudier chez lui[5].
Il a été diplômé en physique, philosophie et enneurosciences computationelles. En 2000, il obtient un doctorat en philosophie[6].
En2002, Nick Bostrom définit le concept de risque existentiel comme un risque d'annihilation de la vie intelligente venant de la Terre ou de perte drastique et irréversible de son potentiel[7],[8].
En2005, il fonde l'Institut pour le Futur de l'Humanité (Future of Humanity Institute) de l'université d'Oxford, et en a été le directeur[9], jusqu'à ce qu'en 2024 l'institut soit dissous, pour cause d'obstacles administratifs croissants[10]. Il est depuis chercheur principal àMacrostrategy Research Initiative[2] et conseiller pour leCentre pour l'étude des risques existentiels[11].
En2008, il publie le livreGlobal Catastrophic Risks, où il redéfinit, plus largement, la notion decatastrophe planétaire, y incluant celle de catastrophe existentielle, est un type particulièrement grave et permanent de catastrophe planétaire[12].
Dès2020 (deux ans avant la popularisation de l'IA générative avecChatGPT), explorant les enjeuxéthiques liés à l’émergence de possiblesconsciences artificielles, il montre que nos intuitions morales et nos institutions pourraient être inadaptées aux nouvelles entités que seraient les esprits numériques. Qu'ils soient produits en masse ou uniques, ceux-ci pourraient être dotés d’un statut moral supérieur, justifiant qu'ils puissent revendiquer des droits et des ressources avec une intensité bien supérieure à celle des humains, posant des risques majeurs si leurs intérêts sont ignorés ou mal compris. Bostrom appelle à une réforme anticipée de nos normes morales et de nos institutions afin d'encadrer la création de ces esprits artificiels, et éviter des catastrophes éthiques[13].
En2024, il estime que l'arrivée d'unesuperintelligence pourrait - éventuellement - survenir dans les 2 à 3 ans, sans même que l'on s'en aperçoive, si l'IA s'améliore elle-même à un rythme accéléré, menant à unesingularité technologique, ce qui est un scénario bien plus plausible qu'il ne l'était quelques années plus tôt (un simple déblocage pouvant conférer une efficacité d'apprentissage comparable à celle de l'humain à de vastes centres de données)[réf. nécessaire]. D'autres prospectivistes du domaine invitent à considérer ses scénarios associant l'émergence d'une quête de pouvoir chez une IA ayant passé le seuil de la singularité, comme plausibles et dignes d’attention[14].
Il publie en2019 un article sur « l'hypothèse du monde vulnérable »[15], où il décrit un cadre théorique pour classifier et gérer d'éventuelles technologies pouvant détruire l'humanité si elles sont mises au point. Il propose quelquesexpériences de pensée illustrant comment de telles vulnérabilités auraient pu historiquement survenir (par exemple si les bombes nucléaires avaient été moins difficiles à produire, ou si leur explosion était capable d'embraser l'atmosphère)[16].
En2024, dans une autreexpérience de pensée, il suggère que, par anticipation et parprécaution, l'humanité devrait considérer et concevoir la futureIA générale - avant qu'elle n'émerge - comme "hôte cosmique", capable de faire partie d'un ensemble hypothétique d'entités — naturelles ou artificielles — dont les préférences, normes ou accords pourraient dominer à l'échelle du cosmos, c'est-à-dire dans l'ensemble de la réalité, incluant potentiellement lemultivers, d'autres hôtes cosmiques pouvant être des civilisations galactiques avancées, d'autres superintelligences, des simulateurs voire des êtres que nous pourrions qualifier de divins[17]. Bostrom suggère de doter cette superintelligence que qualité propres à en faire un "bon citoyen cosmique", c'est-à-dire une entité conforme aux normes de cet hôte cosmique, plutôt que de se focaliser exclusivement sur les intérêts terrestres ou humains, ce qui serait moralement et stratégiquement risqué compte tenu de notre statut inférieur dans cette hiérarchie hypothétique[17].
Il propose un modèle de gouvernance mondiale du développement de l'IA générale qu'il nomme « investissement global ouvert » (Open Global Investment, OGI), permettant aux entreprises privées de travailler de manière moins concurrentielle dans un cadre international renforcé, doté d'un actionnariat plus large, en coopération avec les États et sous l'égide d'accords internationaux garantissant un développement responsable et inclusif de l'IA générale[18]. Il juge ce modèle plus réaliste que le « Manhattan Project » pour l'IA (ou le « CERN de l'IA » parfois évoqué)[19].
Dans son livreSuperintelligence : chemins, dangers, stratégies publié en 2014, Bostrom argumente qu'il est possible de créer dessuperintelligences, et explore les différents types de superintelligences, leurs motivations, et les risques associés[20]. Il définit une superintelligence comme « un système qui surpasse largement tous les individus humains dans tous les domaines cognitifs »[21]. Selon lui, ces superintelligences permettraient des avantages sociétaux importants, et posent en même temps unrisque existentiel significatif pour l’humanité[20].
Bostrom fait une distinction importante entreobjectif final et objectif instrumental. Pour unagent intelligent, un objectif final a une valeur là où un objectif instrumental n'est utile que comme un moyen d'accomplir des objectifs finaux. Bostrom introduit le concept deconvergence instrumentale, qui suggère que certains objectifs instrumentaux (tels que le fait de préserver son intégrité physique ou d'acquérir plus de ressources) sont utiles pour accomplir un grand nombre d'objectifs finaux. Il introduit aussi lathèse d'orthogonalité, qui est l'idée que tout niveau d'intelligence puisse en théorie être combiné avec pratiquement n'importe quel objectif final. Il illustre ces deux principes avec l'expérience de pensée du maximiseur de trombones, une superintelligence ayant l'objectif final absurde de créer autant de trombones que possible[22] :
« Supposons que nous ayons une IA dont l'unique but soit de faire autant de trombones que possible. L'IA se rendra vite compte que ce serait bien mieux s'il n'y avait pas d'humains, parce que les humains pourraient décider de l'éteindre. Parce que si les humains le faisaient, il y aurait moins de trombones. De plus, le corps humain contient beaucoup d'atomes qui pourraient être transformés en trombones. L'avenir vers lequel l'IA essaierait de se diriger serait un futur avec beaucoup de trombones mais aucun humain. »
— Nick Bostrom[23]
Bostrom considère que chercher à maîtriser une superintelligence n'est pas une solution viable, et qu'il fautaligner la superintelligence avec des valeurs morales de sorte qu'elle soit « fondamentalement de notre côté »[24]. Il écrit aussi que la superintelligence pourrait être un atout dans la réduction d'autres risques existentiels, comme celui lié auxnanotechnologies, et pourrait gagner à être développée avant[25]. Et il estime que les machines superintelligentes pourraient radicalement améliorer le monde, par exemple dans la lutte contre le vieillissement, la maladie et la pauvreté ou en facilitant les voyages spatiaux[21].
Bostrom met aussi en garde contre d'autres catégories de risque existentiel liés à l'IA, tels que le risque pour que des humains l'utilisent à des fins destructrices, ou au risque pour que l'humanité échoue à tenir compte du statut moral qu'auraient des IAs sentientes[26].
En 1998, Bostrom fonde avecDavid Pearce laWorld Transhumanist Association[3] (depuis renomméHumanity+) et en 2004 il fonde avecJames Hughes l'Institut d'Éthique pour les Technologies Émergentes (Institute for Ethics and Emerging Technologies)[27].
Il publie en 2005la Fable du Dragon Tyran[28], qui personnifie la mort sous la forme d'un dragon qui demande tous les jours des sacrifices humains. Cette fable dresse une analogie entre le fait de tuer le dragon et le fait d'adopter des techniques potentiellement accessibles dans le futur pour contrer le vieillissement[29]. Elle critique une attitude de rationalisation de la mort, le but étant que les arguments soutenant cette acceptation de la mort semblent moins rationnels quand il s'agit d'accepter que des humains soient mangés par le dragon.
Avec le philosopheToby Ord, il propose en 2006 letest de l'inversion[30]. Selon lui, si une action est jugée comme mauvaise mais que l'action inverse est aussi jugée mauvaise, cela met généralement en évidence unbiais du status quo[31]. Il prend pour exemple l'augmentation de l'intelligence, comparant le fait d'augmenter et de réduire l'intelligence humaine (en faisant l'hypothèse que le coût et les risques médicaux de l'opération soient négligeables)[30].
Bostrom soutient leprincipe d'indépendance du substrat, qui suggère que lasentience puisse émerger sur divers types de substrats physiques, et pas uniquement sur des « réseaux de neurones biologiques à base de carbone » comme dans le cerveau[32]. Il considère qu'il y a différents degrés de sentience[33], et qu'il est possible en théorie de concevoir desconsciences artificielles dont le rythme et l'intensité de l'expérience subjective seraient bien plus élevés que chez l'humain, tout en consommant relativement peu de ressources. Ces machines particulièrement sentientes, qu'il appelle des « super-bénéficiaires », pourraient être extrêmement efficaces pour ressentir du bonheur. Il recommande de chercher un cadre politique et éthique nous permettant de coexister avec ces consciences artificielles de manière mutuellement bénéfique[34].
Bostrom a publié de nombreux articles sur leraisonnement anthropique, ainsi que le livreAnthropic Bias: Observation Selection Effects in Science and Philosophy, où il critique les précédentes formulations du principe anthropique. Il introduit un nouveau cadre pour analyser ce que la présence d'un observateur conscient permet d'apprendre sur le monde[35].
Il a par la suite mis en avant la notion d'ombre anthropique (anthropic shadow), un biais de sélection de l'observateur qui pousse à sous-estimer les risques de catastrophes suffisamment graves pour ne laisser aucun observateur, puisque dans ce cas il ne reste personne pour savoir que ça s'est produit[36].
Bostrom considère que si les progrès technologiques continuent, il deviendra possible de créer des simulations de conscience. Ces consciences artificielles pourraient être créées en quantité tellement massive qu'un individu conscient pris au hasard dans le temps et dans l'espace serait quasiment à coup sûr une simulation de conscience. L'argument de la simulation consiste à montrer que l'une de ces trois choses est vraie[37],[38]:
Bostrom suggère qu'une politique technologique de réduction des risques existentiels devrait chercher à influencer l'ordre dans lequel arrivent ces technologies. Bostrom a proposé le principe dedéveloppement technologique différentiel, qui consiste à accélérer le développement de technologies bénéfiques, principalement celles réduisant les risques existentiels, et à retarder le développement de technologies dangereuses, principalement celles augmentant les risques existentiels[8].
Bostrom a introduit le concept de malédiction de l'unilatéraliste (unilateralist's curse), qui fait que si une action néfaste peut être accomplie par un grand nombre d'agents bien intentionnés, le fait que ces agents agissent selon leur propre jugement augmente le risque que cette action soit accomplie[39].
Dans son livreDeep Utopia: Life and Meaning in a Solved World publié en 2024, Bostrom explore le concept de vie idéale, dans un monde où l'humanité aurait accompli avec succès la transition vers un monde post-superintelligence. Bostrom remarque que la question n’est« pas de savoir à quel point un futur est intéressant à observer, mais dans quelle mesure il est bon d’y vivre ». Il décrit certaines technologies qu’il considère physiquement possibles en théorie et disponibles à maturité technologique, telles que l’amélioration cognitive, l’inversion du vieillissement, des entrées sensorielles arbitraires (goût, son...), ou le contrôle précis de la motivation, de l’humeur, du bien-être et de la personnalité. Selon lui, non seulement les machines seraient meilleures que les humains pour travailler, rendant le travail humain superflu, mais de nombreuses activités de loisir perdraient aussi leur raison d'être. Il indique ainsi qu'une telle utopie offrirait un bien-être extrême tout en remettant en question la quête de sens[40],[41].
« The ground for preferring superintelligence to come before other potentially dangerous technologies, such as nanotechnology, is that superintelligence would reduce the existential risks from nanotechnology but not vice versa. »
: : : : :
