Comment reconnaître l'exclusion dans l'IA

Par Joyce Chou, Oscar Murillo et Roger Ibars

L'intelligence artificielle peut-elle être raciste? En fait ça dépend. Disons que vous êtes un étudiant afro-américain dans une école qui utilise un logiciel de reconnaissance faciale. L'école l'utilise pour accéder au bâtiment et aux devoirs en ligne. Mais le logiciel a un problème. Ses fabricants ont utilisé uniquement des sujets de test à la peau claire pour former ses algorithmes. Votre peau est plus sombre et le logiciel a du mal à vous reconnaître. Parfois, vous êtes en retard pour les cours ou vous ne pouvez pas obtenir vos devoirs à temps. Vos notes souffrent. Le résultat est une discrimination basée uniquement sur la couleur de la peau.

Ce n’est pas un exemple concret, mais des erreurs similaires en matière d’intelligence artificielle sont déjà bien connues dans le secteur des technologies et des médias sociaux. L’industrie est enthousiasmée par l’intelligence artificielle pour une bonne raison: le big data et l’apprentissage automatique illuminent des expériences puissantes qui étaient inimaginables il ya quelques années à peine. Mais pour qu'AI remplisse sa promesse, les systèmes doivent être dignes de confiance. Plus les gens ont confiance, plus ils interagissent avec les systèmes, et les systèmes utilisent plus de données pour donner de meilleurs résultats. Mais la confiance prend beaucoup de temps à s’établir, et les préjugés peuvent l’éliminer instantanément, au détriment des grandes communautés.

Reconnaître l'exclusion dans l'IA

Chez Microsoft, nous avons développé des outils et des processus de conception inclusifs afin de reconnaître les personnes handicapées dans notre processus de conception. Au fur et à mesure de l'évolution de nos pratiques, nous avons élargi notre réflexion sur la conception à d'autres domaines d'exclusion, notamment les problèmes cognitifs, les préférences en matière de style d'apprentissage et les préjugés sociaux.

Il est temps d’adopter la même approche de l’IA. Le biais dans l’IA se produira à moins qu’il ne soit construit dès le départ avec l’inclusion en tête. L’étape la plus critique dans la création d’une IA inclusive consiste à reconnaître où et comment le biais infecte le système.

Notre premier principe de conception inclusif est la reconnaissance de l’exclusion. Le guide que nous dévoilons ici divise le biais de l'IA en catégories distinctes afin que les créateurs de produits puissent identifier les problèmes à un stade précoce, anticiper les problèmes futurs et prendre de meilleures décisions en cours de route. Il permet aux équipes de voir clairement où leurs systèmes peuvent mal fonctionner, afin de pouvoir identifier les biais et de construire des expériences qui tiennent la promesse de l'IA pour tout le monde.

Cinq façons d'identifier les préjugés

Nous avons travaillé avec des universitaires et des leaders d'opinion de l'industrie pour déterminer cinq façons d'identifier les préjugés. Nous avons ensuite utilisé des situations d’enfance comme métaphores pour illustrer le comportement de chaque catégorie. Pourquoi? Nous pouvons tous nous rapporter à des épisodes de préjugés dans l'enfance et cela s'inscrit dans une belle métaphore: l'IA en est à ses balbutiements et, comme les enfants, sa croissance est le reflet de la manière dont nous l'élevons et le nourrissons.

Chaque catégorie de biais comprend une métaphore de l’enfance qui l’illustre, sa définition, un exemple de produit et un test de résistance pour vos équipes et votre travail d’IA. Voici comment les partis pris disparaissent:

En abordant d’abord ces cinq biais, nous pouvons créer des produits plus inclusifs.

Biais du jeu de données

Le biais du jeu de données est similaire à la petite vision du monde d’un jeune enfant.

Un jeune enfant définit le monde uniquement sur la petite quantité qu’il peut voir. Finalement, l’enfant apprend que la majeure partie du monde se situe au-delà du petit ensemble d’informations qui se trouve dans son champ de vision. C’est la racine du biais du jeu de données: une intelligence basée sur des informations trop petites ou trop homogènes.

Définition: lorsque les données utilisées pour former des modèles d’apprentissage automatique ne représentent pas la diversité de la clientèle. Les jeux de données à grande échelle sont la base de l'IA. Dans le même temps, les jeux de données ont souvent été réduits à des généralisations ne prenant pas en compte une variété d’utilisateurs et, par conséquent, leur sous-représentation.

Exemple de produit: les technologies de vision artificielle - telles que les caméras Web permettant de suivre les mouvements des utilisateurs - ne fonctionnent bien que pour de petits sous-ensembles d’utilisateurs en fonction de la race (principalement des blancs), car les données d’entraînement initial excluent les autres races et teintes de peau.

Test de résistance: si vous utilisez un jeu de données de formation, cet exemple inclut-il tous les membres de votre clientèle? Et si non, avez-vous testé vos résultats avec des personnes qui ne faisaient pas partie de votre échantillon? Qu'en est-il des membres de vos équipes d'IA - sont-ils inclusifs, diversifiés et soucieux de reconnaître les préjugés?

Biais d'associations

Les associations humaines peuvent se perpétuer dans la formation à l'IA, comme les rôles assumés par les hommes et les femmes.

Imaginez des enfants qui aiment jouer au «docteur». Les garçons veulent les rôles de docteur et supposent que les filles vont jouer les infirmières. Les filles doivent faire valoir leurs arguments pour renverser les hypothèses. "Hé, les filles peuvent être médecins aussi!"

Définition: Lorsque les données utilisées pour former un modèle renforcent et multiplient un biais culturel. Lors de l'apprentissage d'algorithmes d'intelligence artificielle, les préjugés humains peuvent faire leur chemin vers l'apprentissage automatique. Perpétuer ces biais lors d'interactions futures peut conduire à des expériences clients déloyales.

Exemple de produit: outils de traduction linguistique fondés sur des hypothèses de genre (par exemple, les pilotes sont des hommes et les agents de bord sont des femmes).

Test de résistance: Vos résultats sont-ils des associations qui perpétuent des stéréotypes de genre ou d'ethnie? Que pouvez-vous faire pour briser les associations indésirables et injustes? Votre jeu de données est-il déjà classifié et étiqueté?

Biais d'automatisation

Une machine tente d'obtenir un résultat rapide et automatisé. Il ne sait pas ce que veut l'être humain à l'autre bout.

Imaginez une fille en train de faire peau neuve. La jeune fille aime les sports, aime le naturel et déteste les artifices. L'esthéticienne a des idées différentes sur la beauté, applique des tonnes de maquillage et une coiffure pointue. Les résultats rendent l’esthéticienne heureuse, mais horrifient la fille.

Définition: Lorsque les décisions automatisées l'emportent sur les considérations sociales et culturelles. Les programmes prédictifs peuvent automatiser des objectifs contraires à la diversité humaine. Les algorithmes ne sont pas responsables devant les humains, mais prennent des décisions avec un impact humain. Les concepteurs et les praticiens de l'IA doivent prendre en compte les objectifs des personnes affectées par les systèmes qu'ils construisent.

Exemple de produit: les filtres photo d’embellissement renforcent la notion européenne de beauté des images faciales, comme l’éclaircissement du teint.

Test de résistance: Des clients réels et variés seraient-ils d’accord avec les conclusions de votre algorithme? Votre système d'IA annule-t-il les décisions humaines et favorise-t-il la prise de décision automatisée? Comment vous assurez-vous qu’il existe un point de vue humain dans la boucle?

Biais d'interaction

Les chatbots d'IA sont sensibles à une intervention humaine malveillante et ont besoin de protections pour rester inoffensifs.

Un jeu populaire pour les enfants est «Téléphone». La première personne d’un groupe chuchote une phrase à la personne suivante, qui la transmet ensuite à la personne suivante - et ainsi de suite jusqu’à ce que la dernière personne dise ce qu’elle a entendu. Le but est de voir comment l’information change naturellement grâce à tant de transferts. Mais disons qu'un enfant le change intentionnellement pour créer un résultat plus ridicule. C'est peut-être plus drôle, mais l'esprit de voir ce qui se passe naturellement est brisé.

Définition: Lorsque les humains altèrent l'IA et créent des résultats biaisés. Les chatbots d’aujourd’hui peuvent faire des blagues et tromper les gens en leur faisant croire qu’ils sont humains la plupart du temps. Mais de nombreuses tentatives d'humanisation de l'intelligence artificielle ont involontairement entaché des programmes informatiques avec des biais humains toxiques. Un biais d'interaction apparaît lorsque les robots apprennent de manière dynamique sans protection contre la toxicité.

Exemple de produit: les humains introduisent délibérément un langage raciste ou sexiste dans un chatbot pour le former à dire des choses offensantes.

Test de résistance: Avez-vous mis en place des contrôles pour identifier les intentions malveillantes envers votre système? Qu'est-ce que votre système d'IA apprend des gens? Avez-vous conçu pour une interaction et un apprentissage en temps réel? Qu'est-ce que cela signifie pour ce que cela renvoie aux clients?

Biais de confirmation

Lorsque la même confirmation est faite à maintes reprises, le résultat est moins diversifié, moins exploratoire.

Pensez au gamin qui reçoit un dinosaure en jouet pour un cadeau d'un an. D'autres membres de la famille voient le dinosaure et lui donnent plus de dinosaures. Dans plusieurs années, les amis et la famille ont supposé que l'enfant était un fanatique des dinosaures et continuaient à donner plus de dinosaures jusqu'à ce qu'il ait une énorme collection.

Définition: Lorsque la personnalisation trop simpliste fait des hypothèses biaisées pour un groupe ou un individu. Le biais de confirmation interprète les informations de manière à confirmer les idées préconçues. Les algorithmes d'intelligence artificielle fournissent un contenu qui correspond à ce que d'autres personnes ont déjà choisi. Cela exclut les résultats des personnes qui ont fait des choix moins populaires. Un travailleur du savoir qui n’obtient que des informations de la part de ceux qui pensent comme elle ne verra jamais de points de vue divergents et ne pourra voir des alternatives et des idées diverses.

Exemple de produit: sites de vente contenant des recommandations pour des articles déjà achetés par le client.

Test de résistance: votre algorithme ne construit-t-il et ne renforce-t-il que les préférences courantes? Votre système d'intelligence artificielle est-il en mesure d'évoluer de manière dynamique à mesure que vos clients évoluent? Votre système d'IA aide-t-il vos clients à avoir une vision du monde plus diversifiée et plus inclusive?

Utiliser cet apprêt

En tant que concepteurs et créateurs d’expériences d’intelligence artificielle, il nous incombe de réfléchir à la manière dont l’intelligence artificielle évolue et à son impact sur des personnes réelles. Cette introduction est le début d’un long chemin pour créer des expériences qui servent tout le monde de manière égale.

Si nous appliquons ces idées à notre exemple initial de jeune fille afro-américaine mal interprétée par le logiciel de reconnaissance faciale, nous pouvons qualifier cela de «bêta de données»: le logiciel a été entraîné avec des données trop étroites. En reconnaissant et en comprenant ces biais dès le début, nous pouvons tester le système contre d’autres considérations humaines et construire des expériences plus inclusives. Notre logiciel de reconnaissance faciale pourrait-il être soumis à des données délibérément erronées? Quels autres biais pourraient infecter l'expérience?

La plupart des personnes travaillant dans l'IA ont des preuves anecdotiques de telles situations. Des résultats embarrassants et offensants de préjugés non intentionnels que nous voulons tous identifier et éviter. Notre objectif ici est de vous aider à reconnaître le biais sous-jacent qui mène à ces situations. Commencez avec ces catégories et testez votre expérience avec ces types de biais afin de pouvoir vous concentrer sur la fourniture du potentiel de l'IA à tous vos clients.

Danielle McClune, Doug Kim et Elena Dvorkina (illustrations) ont contribué à cet article. L'équipe de conception inclusive remercie tous nos partenaires Microsoft en recherche et conception pour leurs discussions stimulantes et leur aide précieuse dans le développement d'une technologie inclusive.

En savoir plus sur la conception inclusive chez Microsoft

Pour rester à l'affût avec Microsoft Design, suivez-nous sur Dribbble, Twitter et Facebook ou rejoignez notre programme Windows Insider. Et si vous souhaitez rejoindre notre équipe, rendez-vous sur aka.ms/DesignCareers.