Blog

Mar 15, 2023

Algorithme d'IA raciste déjà vu avec ChatGPT : informaticien

En 1998, j'ai involontairement créé une intelligence artificielle raciste

En 1998, j'ai involontairement créé un algorithme d'intelligence artificielle biaisé racialement. Il y a des leçons dans cette histoire qui résonnent encore plus fortement aujourd'hui.

Les dangers de biais et d'erreurs dans les algorithmes d'IA sont désormais bien connus. Pourquoi, alors, y a-t-il eu une vague d'erreurs de la part des entreprises technologiques ces derniers mois, en particulier dans le monde des chatbots IA et des générateurs d'images ? Les versions initiales de ChatGPT produisaient une sortie raciste. Les générateurs d'images DALL-E 2 et Stable Diffusion ont tous deux montré des préjugés raciaux dans les images qu'ils ont créées.

Ma propre épiphanie en tant qu'informaticien blanc s'est produite alors que j'enseignais un cours d'informatique en 2021. La classe venait de visionner un poème vidéo de Joy Buolamwini, chercheuse et artiste en intelligence artificielle et poète autoproclamée du code. Son poème vidéo de 2019 "AI, Ain't I a Woman?" est un exposé dévastateur de trois minutes sur les préjugés raciaux et sexistes dans les systèmes de reconnaissance automatique des visages - des systèmes développés par des entreprises technologiques comme Google et Microsoft.

Les systèmes échouent souvent sur les femmes de couleur, les étiquetant à tort comme des hommes. Certains des échecs sont particulièrement flagrants : les cheveux de la leader noire des droits civiques Ida B. Wells sont étiquetés comme une « casquette en peau de raton laveur » ; une autre femme noire est étiquetée comme possédant une "moustache de morse".

J'ai eu un horrible moment de déjà-vu dans ce cours d'informatique : je me suis soudain souvenu que moi aussi, j'avais créé un jour un algorithme raciste. En 1998, j'étais doctorant. Mon projet impliquait de suivre les mouvements de la tête d'une personne à partir de l'entrée d'une caméra vidéo. Mon directeur de thèse avait déjà développé des techniques mathématiques pour suivre précisément la tête dans certaines situations, mais le système devait être beaucoup plus rapide et plus robuste. Plus tôt dans les années 1990, des chercheurs d'autres laboratoires avaient montré que les zones de couleur chair d'une image pouvaient être extraites en temps réel. Nous avons donc décidé de nous concentrer sur la couleur de la peau comme indice supplémentaire pour le tracker.

J'ai utilisé un appareil photo numérique – encore rare à l'époque – pour prendre quelques clichés de ma main et de mon visage, et j'ai également photographié les mains et le visage de deux ou trois autres personnes qui se trouvaient dans le bâtiment. Il était facile d'extraire manuellement certains des pixels de couleur chair de ces images et de construire un modèle statistique pour les couleurs de peau. Après quelques ajustements et débogages, nous avions un système de suivi de la tête en temps réel étonnamment robuste.

Peu de temps après, mon conseiller m'a demandé de faire une démonstration du système à des dirigeants d'entreprise en visite. Lorsqu'ils sont entrés dans la salle, j'ai été immédiatement submergé par l'anxiété : les cadres étaient japonais. Dans mon expérience occasionnelle pour voir si un modèle statistique simple fonctionnerait avec notre prototype, j'avais collecté des données sur moi-même et sur une poignée d'autres personnes qui se trouvaient dans le bâtiment. Mais 100 % de ces sujets avaient la peau « blanche » ; les dirigeants japonais ne l'ont pas fait.

Miraculeusement, le système fonctionnait raisonnablement bien sur les cadres de toute façon. Mais j'ai été choqué de réaliser que j'avais créé un système à préjugés raciaux qui aurait pu facilement échouer pour d'autres personnes non blanches.

Comment et pourquoi des scientifiques bien éduqués et bien intentionnés produisent-ils des systèmes d'IA biaisés ? Les théories sociologiques du privilège fournissent une lentille utile.

Dix ans avant que je crée le système de suivi de la tête, la chercheuse Peggy McIntosh a proposé l'idée d'un "sac à dos invisible" transporté par les Blancs. À l'intérieur du sac à dos se trouve un trésor de privilèges tels que "Je peux bien faire dans une situation difficile sans être considéré comme un mérite pour ma race" et "Je peux critiquer notre gouvernement et dire à quel point je crains ses politiques et son comportement sans être considéré comme un étranger culturel".

À l'ère de l'IA, ce sac à dos a besoin de nouveaux éléments, tels que "Les systèmes d'IA ne donneront pas de mauvais résultats à cause de ma race". Le sac à dos invisible d'un scientifique blanc aurait également besoin : "Je peux développer un système d'IA basé sur ma propre apparence, et je sais qu'il fonctionnera bien pour la plupart de mes utilisateurs."

Un remède suggéré pour le privilège blanc est d'être activement antiraciste. Pour le système de suivi des têtes de 1998, il peut sembler évident que le remède antiraciste consiste à traiter toutes les couleurs de peau de la même manière. Certes, nous pouvons et devons nous assurer que les données d'entraînement du système représentent la gamme de toutes les couleurs de peau de la manière la plus égale possible.

Malheureusement, cela ne garantit pas que toutes les couleurs de peau observées par le système seront traitées de la même manière. Le système doit classer toutes les couleurs possibles comme peau ou non peau. Par conséquent, il existe des couleurs juste à la frontière entre la peau et la non-peau - une région que les informaticiens appellent la frontière de décision. Une personne dont la couleur de peau dépasse cette limite de décision sera classée de manière incorrecte.

Les scientifiques sont également confrontés à un vilain dilemme subconscient lorsqu'ils intègrent la diversité dans les modèles d'apprentissage automatique : les modèles diversifiés et inclusifs fonctionnent moins bien que les modèles étroits.

Une simple analogie peut expliquer cela. Imaginez que vous ayez le choix entre deux tâches. La tâche A consiste à identifier un type particulier d'arbre - disons, les ormes. La tâche B consiste à identifier cinq types d'arbres : l'orme, le frêne, le robinier, le hêtre et le noyer. Il est évident que si vous disposez d'un temps fixe pour vous entraîner, vous obtiendrez de meilleurs résultats sur la tâche A que sur la tâche B.

De la même manière, un algorithme qui suit uniquement la peau blanche sera plus précis qu'un algorithme qui suit toute la gamme des couleurs de peau humaine. Même s'ils sont conscients du besoin de diversité et d'équité, les scientifiques peuvent être inconsciemment affectés par ce besoin concurrent d'exactitude.

Ma création d'un algorithme biaisé était irréfléchie et potentiellement offensante. Plus inquiétant encore, cet incident montre comment les préjugés peuvent rester dissimulés au plus profond d'un système d'IA. Pour comprendre pourquoi, considérons un ensemble particulier de 12 nombres dans une matrice de trois lignes et quatre colonnes. Vous paraissent-ils racistes ? L'algorithme de suivi de la tête que j'ai développé en 1998 est contrôlé par une matrice comme celle-ci, qui décrit le modèle de couleur de peau. Mais il est impossible de dire à partir de ces seuls chiffres qu'il s'agit en fait d'une matrice raciste. Ce ne sont que des nombres, déterminés automatiquement par un programme informatique.

Le problème du biais dissimulé à la vue de tous est beaucoup plus grave dans les systèmes d'apprentissage automatique modernes. Les réseaux de neurones profonds - actuellement le type de modèle d'IA le plus populaire et le plus puissant - ont souvent des millions de nombres dans lesquels un biais pourrait être encodé. Les systèmes de reconnaissance faciale biaisés critiqués dans "AI, Ain't I a Woman?" sont tous des réseaux de neurones profonds.

La bonne nouvelle est que de nombreux progrès en matière d'équité en matière d'IA ont déjà été réalisés, tant dans le milieu universitaire que dans l'industrie. Microsoft, par exemple, a un groupe de recherche connu sous le nom de FATE, consacré à l'équité, la responsabilité, la transparence et l'éthique dans l'IA. Une conférence de premier plan sur l'apprentissage automatique, NeurIPS, a des directives éthiques détaillées, y compris une liste en huit points d'impacts sociaux négatifs qui doivent être pris en compte par les chercheurs qui soumettent des articles.

D'un autre côté, même en 2023, l'équité peut encore être victime de pressions concurrentielles dans le milieu universitaire et l'industrie. Les chatbots défectueux Bard et Bing de Google et Microsoft sont des preuves récentes de cette sombre réalité. La nécessité commerciale de gagner des parts de marché a conduit à la sortie prématurée de ces systèmes.

Les systèmes souffrent exactement des mêmes problèmes que mon head tracker de 1998. Leurs données d'entraînement sont biaisées. Ils sont conçus par un groupe non représentatif. Ils sont confrontés à l'impossibilité mathématique de traiter toutes les catégories de manière égale. Ils doivent en quelque sorte échanger l'exactitude contre l'équité. Et leurs biais se cachent derrière des millions de paramètres numériques impénétrables.

Alors, jusqu'où le domaine de l'IA a-t-il vraiment évolué depuis qu'il était possible, il y a plus de 25 ans, pour un doctorant de concevoir et de publier les résultats d'un algorithme biaisé racialement sans oubli ni conséquences apparents ? Il est clair que des systèmes d'IA biaisés peuvent toujours être créés involontairement et facilement. Il est également clair que le biais de ces systèmes peut être nocif, difficile à détecter et encore plus difficile à éliminer.

De nos jours, c'est un cliché de dire que l'industrie et le milieu universitaire ont besoin de divers groupes de personnes "dans la salle" pour concevoir ces algorithmes. Il serait utile que le champ puisse atteindre ce point. Mais en réalité, avec des programmes nord-américains de doctorat en informatique qui n'obtiennent qu'environ 23 % de femmes et 3 % d'étudiants noirs et latinos, il continuera d'y avoir de nombreuses salles et de nombreux algorithmes dans lesquels les groupes sous-représentés ne sont pas du tout représentés.

C'est pourquoi les leçons fondamentales de mon head tracker de 1998 sont encore plus importantes aujourd'hui : il est facile de faire une erreur, il est facile pour un biais d'entrer sans être détecté, et tout le monde dans la pièce est responsable de l'empêcher.

John MacCormick est professeur d'informatique au Dickinson College.

Cet article est republié de The Conversation sous une licence Creative Commons. Lire l'article d'origine.