Blog

May 25, 2023

Les modèles d'IA évaluent mal les violations des règles : les décisions entre l'homme et la machine

Résumé : Les chercheurs ont découvert que les modèles d'IA ne parviennent souvent pas à reproduire avec précision

Résumé: Les chercheurs ont découvert que les modèles d'IA ne parviennent souvent pas à reproduire avec précision les décisions humaines concernant les violations des règles, tendant vers des jugements plus sévères. Cela est attribué au type de données sur lesquelles ces modèles sont entraînés ; souvent étiquetés de manière descriptive plutôt que normative, ce qui conduit à des interprétations divergentes des violations des règles.

L'écart pourrait entraîner de graves conséquences dans le monde réel, telles que des peines judiciaires plus strictes. Par conséquent, les chercheurs suggèrent d'améliorer la transparence des ensembles de données et de faire correspondre le contexte de formation au contexte de déploiement pour des modèles plus précis.

Faits marquants:

Source:AVEC

Dans un effort pour améliorer l'équité ou réduire les arriérés, les modèles d'apprentissage automatique sont parfois conçus pour imiter la prise de décision humaine, comme décider si les publications sur les réseaux sociaux violent les politiques de contenu toxique.

Mais des chercheurs du MIT et d'ailleurs ont découvert que ces modèles ne reproduisent souvent pas les décisions humaines concernant les violations des règles. Si les modèles ne sont pas formés avec les bonnes données, ils sont susceptibles de porter des jugements différents, souvent plus sévères que les humains.

Dans ce cas, les "bonnes" données sont celles qui ont été étiquetées par des humains à qui on a explicitement demandé si les éléments défiaient une certaine règle. La formation consiste à montrer à un modèle d'apprentissage automatique des millions d'exemples de ces "données normatives" afin qu'il puisse apprendre une tâche.

Mais les données utilisées pour former les modèles d'apprentissage automatique sont généralement étiquetées de manière descriptive, ce qui signifie que les humains sont invités à identifier des caractéristiques factuelles, telles que, par exemple, la présence d'aliments frits sur une photo.

Si des "données descriptives" sont utilisées pour former des modèles qui jugent les violations des règles, par exemple si un repas viole une politique scolaire qui interdit les aliments frits, les modèles ont tendance à surestimer les violations des règles.

Cette baisse de précision pourrait avoir de graves implications dans le monde réel. Par exemple, si un modèle descriptif est utilisé pour décider si un individu est susceptible de récidiver, les résultats des chercheurs suggèrent qu'il peut émettre des jugements plus stricts qu'un humain, ce qui pourrait entraîner des montants de caution plus élevés ou des peines pénales plus longues.

"Je pense que la plupart des chercheurs en intelligence artificielle/apprentissage automatique supposent que les jugements humains dans les données et les étiquettes sont biaisés, mais ce résultat dit quelque chose de pire.

"Ces modèles ne reproduisent même pas des jugements humains déjà biaisés parce que les données sur lesquelles ils sont formés ont un défaut : les humains étiquetteraient différemment les caractéristiques des images et du texte s'ils savaient que ces caractéristiques seraient utilisées pour un jugement.

"Cela a d'énormes ramifications pour les systèmes d'apprentissage automatique dans les processus humains", déclare Marzyeh Ghassemi, professeur adjoint et chef du groupe Healthy ML au Laboratoire d'informatique et d'intelligence artificielle (CSAIL).

Ghassemi est l'auteur principal d'un nouvel article détaillant ces découvertes, qui a été publié aujourd'hui dans Science Advances. Elle est accompagnée de l'auteur principal Aparna Balagopalan, étudiante diplômée en génie électrique et en informatique; David Madras, étudiant diplômé à l'Université de Toronto; David H. Yang, un ancien étudiant diplômé qui est maintenant co-fondateur de ML Estimation ; Dylan Hadfield-Menell, professeur adjoint au MIT ; et Gillian K. Hadfield, titulaire de la chaire Schwartz Reisman en technologie et société et professeure de droit à l'Université de Toronto.

Écart d'étiquetage

Cette étude est née d'un projet différent qui a exploré comment un modèle d'apprentissage automatique peut justifier ses prédictions. En rassemblant des données pour cette étude, les chercheurs ont remarqué que les humains donnent parfois des réponses différentes s'ils sont invités à fournir des étiquettes descriptives ou normatives sur les mêmes données.

Pour rassembler des étiquettes descriptives, les chercheurs demandent aux étiqueteurs d'identifier des caractéristiques factuelles - ce texte contient-il un langage obscène ? Pour rassembler des étiquettes normatives, les chercheurs donnent aux étiqueteurs une règle et demandent si les données enfreignent cette règle. Ce texte enfreint-il la politique linguistique explicite de la plate-forme ?

Surpris par cette découverte, les chercheurs ont lancé une étude utilisateur pour creuser plus profondément. Ils ont rassemblé quatre ensembles de données pour imiter différentes politiques, comme un ensemble de données d'images de chiens qui pourraient être en violation de la règle d'un appartement contre les races agressives. Ensuite, ils ont demandé à des groupes de participants de fournir des étiquettes descriptives ou normatives.

Dans chaque cas, les étiqueteurs descriptifs ont été invités à indiquer si trois caractéristiques factuelles étaient présentes dans l'image ou le texte, par exemple si le chien semble agressif. Leurs réponses ont ensuite été utilisées pour formuler des jugements. (Si un utilisateur a déclaré qu'une photo contenait un chien agressif, la politique a été violée.)

Les étiqueteurs ne connaissaient pas la politique relative aux animaux de compagnie. D'autre part, les étiqueteurs normatifs ont reçu la politique interdisant les chiens agressifs, puis ont demandé si elle avait été violée par chaque image, et pourquoi.

Les chercheurs ont découvert que les humains étaient beaucoup plus susceptibles d'étiqueter un objet comme une violation dans le cadre descriptif.

La disparité, qu'ils ont calculée en utilisant la différence absolue des étiquettes en moyenne, variait de 8% sur un ensemble de données d'images utilisées pour juger les violations du code vestimentaire à 20% pour les images de chiens.

"Bien que nous n'ayons pas explicitement testé pourquoi cela se produit, une hypothèse est que la façon dont les gens pensent aux violations des règles est peut-être différente de la façon dont ils pensent aux données descriptives. En général, les décisions normatives sont plus indulgentes", déclare Balagopalan.

Pourtant, les données sont généralement collectées avec des étiquettes descriptives pour former un modèle pour une tâche d'apprentissage automatique particulière. Ces données sont souvent réutilisées plus tard pour former différents modèles qui effectuent des jugements normatifs, comme des violations de règles.

Problèmes d'entraînement

Pour étudier les impacts potentiels de la réaffectation des données descriptives, les chercheurs ont formé deux modèles pour juger des violations de règles en utilisant l'un de leurs quatre paramètres de données. Ils ont formé un modèle à l'aide de données descriptives et l'autre à l'aide de données normatives, puis ont comparé leurs performances.

Ils ont constaté que si des données descriptives sont utilisées pour former un modèle, il sera moins performant qu'un modèle formé pour effectuer les mêmes jugements en utilisant des données normatives. Plus précisément, le modèle descriptif est plus susceptible de mal classer les entrées en prédisant à tort une violation de règle.

Et la précision du modèle descriptif était encore plus faible lors de la classification d'objets sur lesquels les étiqueteurs humains n'étaient pas d'accord.

"Cela montre que les données sont vraiment importantes. Il est important de faire correspondre le contexte de formation au contexte de déploiement si vous formez des modèles pour détecter si une règle a été violée", déclare Balagopalan.

Il peut être très difficile pour les utilisateurs de déterminer comment les données ont été recueillies ; ces informations peuvent être enterrées dans l'annexe d'un document de recherche ou non révélées par une entreprise privée, dit Ghassemi.

L'amélioration de la transparence des ensembles de données est un moyen d'atténuer ce problème. Si les chercheurs savent comment les données ont été recueillies, alors ils savent comment ces données doivent être utilisées.

Une autre stratégie possible consiste à affiner un modèle formé de manière descriptive sur une petite quantité de données normatives. Cette idée, connue sous le nom d'apprentissage par transfert, est quelque chose que les chercheurs veulent explorer dans des travaux futurs.

Ils souhaitent également mener une étude similaire auprès d'experts en étiquetage, tels que des médecins ou des avocats, pour voir si cela conduit à la même disparité d'étiquetage.

"La façon de résoudre ce problème est de reconnaître de manière transparente que si nous voulons reproduire le jugement humain, nous ne devons utiliser que les données qui ont été collectées dans ce cadre.

"Sinon, nous allons nous retrouver avec des systèmes qui vont avoir des modérations extrêmement dures, beaucoup plus dures que ce que feraient les humains. Les humains verraient une nuance ou feraient une autre distinction, alors que ces modèles ne le font pas", dit Ghassemi.

Financement:Cette recherche a été financée, en partie, par l'Institut Schwartz Reisman pour la technologie et la société, Microsoft Research, l'Institut Vector et une chaîne du Conseil de recherches du Canada.

Auteur:Adam ZewéSource:AVECContact:Adam Zewe-MITImage:L'image est créditée à Neuroscience News

Recherche originale : Accès libre. "Juger les faits, juger les normes : la formation de modèles d'apprentissage automatique pour juger les humains nécessite une approche modifiée de l'étiquetage des données" par Marzyeh Ghassemi et al. Avancées scientifiques

Abstrait

Juger les faits, juger les normes : la formation de modèles d'apprentissage automatique pour juger les humains nécessite une approche modifiée de l'étiquetage des données

Alors que les gouvernements et l'industrie se tournent vers une utilisation accrue des systèmes de décision automatisés, il devient essentiel d'examiner dans quelle mesure ces systèmes peuvent reproduire le jugement humain.

Nous identifions un échec potentiel de base, constatant que les annotateurs étiquettent les objets différemment selon qu'on leur pose une question factuelle ou une question normative.

Cela remet en question une hypothèse naturelle maintenue dans de nombreuses procédures standard d'acquisition de données d'apprentissage automatique (ML) : qu'il n'y a pas de différence entre prédire la classification factuelle d'un objet et un exercice de jugement pour savoir si un objet viole une règle fondée sur ces faits.

Nous constatons que l'utilisation d'étiquettes factuelles pour former des modèles destinés à des jugements normatifs introduit une erreur de mesure notable.

Nous montrons que les modèles formés à l'aide d'étiquettes factuelles produisent des jugements significativement différents de ceux formés à l'aide d'étiquettes normatives et que l'impact de cet effet sur les performances du modèle peut dépasser celui d'autres facteurs (par exemple, la taille de l'ensemble de données) qui attirent régulièrement l'attention des chercheurs et des praticiens du ML.

Votre adresse email ne sera pas publiée. Les champs requis sont indiqués *

Commentaire *

Nom *

E-mail *

Site Internet

Avertissez-moi des nouveaux commentaires par email.

Avertissez-moi des nouveaux articles par e-mail.