Dans un contexte d'inflation sans précédent des prix des produits alimentaires canadiens, qui ont augmenté de 9,1 % sur un an en juin 2023, Microsoft a récemment publié un article sur MSN.com proposant des conseils de voyage pour la capitale Ottawa. L'article suggérait de consulter la Banque alimentaire d'Ottawa, avec ce conseil inhabituel : « La vie est déjà assez difficile. Pensez à y aller l'estomac vide.
Après avoir été moqué par plusieurs commentateurs, l'article a été retiré et Microsoft a déclaré que « le problème était dû à une erreur humaine… le contenu a été généré par une combinaison de techniques algorithmiques avec un examen humain, et non par un grand modèle de langage ou un système d'IA ».
Bien qu'il n'y ait aucun moyen de savoir avec certitude ce qui s'est passé exactement, attribuer la responsabilité de cet incident à un observateur humain est fallacieux. Peut-être que le critique dormait au volant, mais le contenu a sûrement été généré par une machine. Il n'est pas difficile d'imaginer l'intelligence artificielle (IA) derrière cet incident, étant donné les antécédents de faux pas algorithmiques de Microsoft. Prenons l'exemple du chatbot Tay, qui a lancé des slogans nazis peu de temps après son lancement. Ou encore la sortie précipitée du grand modèle de langage Bing AI, qui a généré toutes sortes de comportements bizarres – pour lesquels Bill Gates a reproché aux utilisateurs de « provoquer » l'IA. Peu importe qui est réellement responsable de l'incident de la Banque alimentaire d'Ottawa, il y a ici quelque chose d'intéressant dans le jeu du blâme de Microsoft.
Comparons l'incident de la Banque alimentaire d'Ottawa avec l'événement de 2017 au cours duquel la startup Expensify, soi-disant alimentée par l'IA, a été dénoncée pour ne pas avoir les capacités technologiques qu'elle prétendait avoir. Des rapports ont révélé qu'Expensify utilisait Amazon Mechanical Turk – une plate-forme qui embauche des travailleurs pour effectuer de petites tâches que les algorithmes ne peuvent pas – pour traiter des documents financiers confidentiels.
L'histoire d'Expensify alimente une critique désormais courante de l'industrie de l'IA : l'IA surfaite agit comme une simple façade pour le travail humain nécessaire dans les coulisses. Ceci est surnommé « IA Potemkine » ou « fauxtomation ». Mais la gaffe de Microsoft révèle un fonctionnement différent à l'œuvre. Au lieu de travailleurs humains cachés par une fausse IA, nous voyons une IA cachée derrière une erreur humaine anonyme. Le travail humain est présenté comme un « bouc émissaire » qui assume la responsabilité d'une machine.
La première question à se poser est de savoir si les explications basées sur l'erreur humaine sont trop simples – et de quels autres éléments du système elles détournent l'attention.
Pour réfléchir à cela, nous pouvons nous appuyer sur le concept de « zones de déformation morale » de l'anthropologue Madeleine Clare Elish en 2019, qui décrit comment « la responsabilité d'une action peut être attribuée à tort à un acteur humain qui avait un contrôle limité sur le comportement d'un système automatisé ou autonome ». .» Alors qu'une zone de déformation dans une voiture sert à protéger les humains à l'intérieur du véhicule, les zones de déformation morale servent à protéger « l'intégrité du système technologique » en attribuant toute la responsabilité à l'erreur humaine. L'étude d'Elish ne prend pas en compte les zones de déformation morale liées à l'IA, mais elle présente ses recherches comme étant motivées par la nécessité d'éclairer les débats sur les « implications politiques et éthiques de l'IA ». Comme le note Elish, chacun peut occuper de nombreuses positions différentes par rapport à un système automatisé – avec différents degrés de possibilité d'intervention – et donc être coupable de la défaillance du système. Les zones de déformation morale peuvent ainsi être utilisées comme armes par des partis ayant intérêt à limiter l'examen minutieux de leurs machines. Comme le montre l'histoire de la Banque alimentaire d'Ottawa, une erreur humaine anonyme peut absoudre la panne des machines dans un système automatisé complexe.
Ceci est important car cela suggère que l'industrie de l'IA est en train de passer de la simulation au déploiement de l'IA. Et souvent, sous l'effet de la concurrence, ces déploiements interviennent avant que les systèmes ne soient prêts, avec un risque accru de panne. Dans le sillage de ChatGPT et de la prolifération de grands modèles de langage, l'IA est une technologie de plus en plus orientée vers le consommateur, de sorte que de tels échecs vont être visibles au public et avoir un effet de plus en plus tangible.
L'incident de la Banque alimentaire d'Ottawa et le déploiement d'une zone de déformation morale ont été relativement inoffensifs, servant principalement à préserver l'opinion publique sur les capacités techniques de Microsoft en suggérant que l'IA n'était pas à blâmer. Mais si nous examinons d'autres exemples de zones de déformation morale algorithmiques, nous pouvons voir le potentiel d'utilisations plus sérieuses. En 2022, un semi-remorque autonome fabriqué par la startup TuSimple a fait un écart inattendu dans un terre-plein en béton alors qu'il roulait sur l'autoroute. Le surveillant dans la cabine a pris les commandes et un grave accident a été évité. Alors que TuSimple a attribué l'accident à une erreur humaine, cela a été contesté par les analystes. En 2013, lorsque Vine était un média social à la mode, le porno hardcore apparaissait comme la vidéo recommandée « Choix de l'éditeur » sur la page de lancement de l'application. Encore une fois, un porte-parole de l'entreprise a explicitement blâmé « l'erreur humaine ».
Peu importe si l'erreur humaine est réellement à l'origine de ces incidents. Le fait est que l'industrie de l'IA cherchera sans aucun doute à utiliser les zones de déformation morale à son avantage, si ce n'est déjà fait. Il est intéressant de noter qu'Elish est désormais responsable de l'IA responsable chez Google, selon son profil LinkedIn. Google mobilise sûrement l'appareil conceptuel des zones de déformation morale dans le cadre de ses opérations d'IA destinées au public. L'incident de la Banque alimentaire d'Ottawa suggère que les utilisateurs de l'IA et ceux qui sont autrement affectés par son traitement des données devraient également réfléchir à la manière dont le blâme est attribué au sein de systèmes sociotechniques complexes. La première question à se poser est de savoir si les explications basées sur l'erreur humaine sont trop simples – et de quels autres éléments du système elles détournent l'attention.
