Méfiez-vous de la montée de l’algorithme de la boîte noire

Méfiez-vous de la montée de l'algorithme de la boîte noire


L’une des façons dont mon partenaire et moi sommes bien adaptés est que nous aimons tous les deux les jeux de société, et je ne suis pas très doué pour eux. Cela aide, car mon partenaire est un gagnant gracieux mais un perdant épouvantable. Une fois, au début de son adolescence, lors d’une partie de dames avec sa sœur, elle a répondu à une position impossible à gagner en retournant la table.

Si l’intelligence artificielle détruit la vie humaine, cela ressemblera certainement plus à la réaction de mon partenaire face à la défaite qu’à l’intelligence destructrice du Terminateur films. La catastrophe ne surviendra pas lorsqu’une intelligence sophistiquée décidera d’utiliser son pouvoir pour un mal délibéré, mais lorsque le moyen le plus simple d’accomplir sa programmation et de “gagner” sera de renverser la table.

La menace que l’intelligence artificielle provoque une sorte de catastrophe sociétale est, bien sûr, une raison pour laquelle nous devrions nous préoccuper de la recherche, de l’éthique et de la transparence. Mais cette concentration sur le potentiel de catastrophe peut parfois détourner l’attention des dangers les plus banals. Si votre GPS vous dirige vers le bord d’une falaise, comme il l’a fait en 2009, lorsque Robert Jones a été condamné pour ne pas avoir conduit avec la prudence et l’attention requises, il ne s’agit pas d’une tragédie au niveau de la société. Mais il peut s’agir d’un problème personnel s’il vous fait perdre la vie, votre emploi ou même simplement votre permis de conduire.

Une conséquence malheureuse des prédictions désastreuses constantes sur les pires conséquences absolues de l’intelligence artificielle ou des programmes d’apprentissage automatique est qu’ils encouragent une sorte de complaisance « eh bien, ils ne nous ont pas encore tués » quant à leur prévalence actuelle dans les politiques publiques et la prise de décision commerciale. .

Un problème plus courant est que, pour les décideurs politiques comme pour les chefs d’entreprise, le mot « algorithme » peut parfois être imprégné de pouvoirs magiques. Un bon exemple récent est la tentative vouée à l’échec du gouvernement britannique d’attribuer des notes aux étudiants pendant la pandémie. Mais un algorithme n’est qu’un ensemble de données alimentées par des règles ou des formules mathématiques pour produire un résultat. Comme aucun étudiant britannique qui passait son GCSE ou son A-level n’avait beaucoup de données significatives sur ses propres performances, «l’algorithme» du Royaume-Uni était essentiellement arbitraire au niveau individuel. Le résultat a été un tollé public, un algorithme abandonné et une inflation rampante des notes.

L’utilisation la plus inquiétante des algorithmes dans les politiques est ce qu’on appelle les «algorithmes de boîte noire»: ceux dans lesquels les entrées et les processus sont cachés à la vue du public. Cela peut être dû au fait qu’elles sont considérées comme des informations exclusives : par exemple, les facteurs qui sous-tendent le système Compas, utilisé aux États-Unis pour mesurer la probabilité de récidive, ne sont pas accessibles au public car ils sont traités comme la propriété de l’entreprise.

Cela pose inévitablement des problèmes pour la démocratie. Tout système conçu pour mesurer la probabilité qu’une personne récidive doit faire un choix entre libérer ceux qui pourraient en fait récidiver ou continuer à emprisonner des personnes prêtes à devenir des membres productifs de la société. Il n’y a pas de “bonne” ou de “juste” réponse ici : les algorithmes peuvent façonner votre prise de décision, mais le jugement est en fin de compte celui qui doit être porté par les politiciens et, indirectement, leurs électeurs.

Comme l’a observé le statisticien David Spiegelhalter, il n’y a pas de différence pratique entre les juges utilisant des algorithmes et les juges suivant les lignes directrices en matière de détermination de la peine. La différence importante est uniquement et significativement que les lignes directrices en matière de détermination de la peine sont clairement comprises, accessibles au public et soumises à un débat démocratique.

L’algorithme d’examen condamné du Royaume-Uni n’était pas une «boîte noire» en raison des lois sur la propriété intellectuelle ou du désir d’une entreprise de protéger ses intérêts, mais le résultat de la préférence par défaut de l’État britannique pour une prise de décision opaque. Si les rouages ​​du processus avaient été mis à disposition plus tôt, l’opposition politique à celui-ci serait devenue claire à temps pour trouver une solution plus acceptable.

L’autre forme d’algorithme de boîte noire est celle dans laquelle les informations sont accessibles au public mais trop complexes pour être facilement comprises. Ceci, encore une fois, peut avoir des implications désastreuses. Si l’algorithme qui décide qui est licencié ne peut pas être raisonnablement compris par les employés ou, en fait, les employeurs, alors c’est un outil médiocre pour les managers et qui cause du mécontentement. En politique publique, si les résultats d’un algorithme sont trop complexes, ils peuvent brouiller le débat au lieu d’aider les décideurs politiques à prendre de meilleures décisions.

Spiegelhalter propose un processus en quatre phases pour les algorithmes et l’apprentissage automatique dans les politiques publiques et le lieu de travail, comparable au processus que les produits pharmaceutiques britanniques doivent suivre pour être approuvés. L’une des raisons pour lesquelles ce plan est bon est qu’il pourrait éviter une erreur de fin du monde : mais il pourrait également éviter des tragédies mineures et des échecs de politique publique.

[email protected]

Leave a Comment