La «catastrophe existentielle» causée par l’IA est probablement inévitable, prévient un chercheur de DeepMind

La «catastrophe existentielle» causée par l'IA est probablement inévitable, prévient un chercheur de DeepMind


Des chercheurs de l’Université d’Oxford et de la division d’intelligence artificielle de Google, DeepMind, ont affirmé qu’il existe une forte probabilité que des formes avancées d’IA deviennent “existentiellement dangereuses pour la vie sur Terre”.

Dans un récent article de la revue à comité de lecture Magazine IAles chercheurs ont averti qu’il y aurait des “conséquences catastrophiques” si le développement de certains agents d’IA se poursuivait.

Des philosophes de premier plan comme Nick Bostrom de l’Université d’Oxford ont déjà parlé de la menace posée par les formes avancées d’intelligence artificielle, bien que l’un des auteurs du nouveau document ait affirmé que ces avertissements n’allaient pas assez loin.

“Boström, [computer scientist Stuart] Russell et d’autres ont fait valoir que l’IA avancée constituait une menace pour l’humanité », a écrit Michael Cohen dans un Fil Twitter accompagnant l’article.

“Dans les conditions que nous avons identifiées, notre conclusion est beaucoup plus forte que celle de toute publication précédente – une catastrophe existentielle est non seulement possible, mais probable.”

L’article propose un scénario dans lequel un agent IA élabore une stratégie pour tricher afin de recevoir une récompense qu’il est préprogrammé pour rechercher.

Afin de maximiser son potentiel de récompense, il nécessite autant d’énergie qu’il est possible d’obtenir. L’expérience de pensée voit l’humanité rivaliser finalement avec l’IA pour les ressources énergétiques.

“Gagner la compétition consistant à” utiliser le dernier morceau d’énergie disponible “tout en jouant contre quelque chose de beaucoup plus intelligent que nous serait probablement très difficile”, a écrit M. Cohen. « Perdre serait fatal.

“Ces possibilités, aussi théoriques soient-elles, signifient que nous devrions progresser lentement – voire pas du tout – vers l’objectif d’une IA plus puissante.”

DeepMind a déjà proposé un garde-fou contre une telle éventualité, le surnommant « le gros bouton rouge ». Dans un article de 2016 intitulé “Safely Interruptible Agents”, la société d’IA a décrit un cadre pour empêcher les machines avancées d’ignorer les commandes d’arrêt et de devenir un agent voyou incontrôlable.

Le professeur Bostrom a précédemment décrit DeepMind – dont les réalisations en matière d’IA incluent battre des champions humains au jeu de société Go et manipuler la fusion nucléaire – comme le plus proche de la création d’une intelligence artificielle au niveau humain.

Le philosophe suédois a également déclaré que ce serait une “grande tragédie” si le développement de l’IA ne se poursuivait pas, car elle a le potentiel de guérir les maladies et de faire progresser la civilisation à un rythme autrement impossible.

Leave a Comment