L’Intelligence Artificielle peut-elle lutter contre les discriminations et les inégalités du monde réel ? Dans cette expertise, la Calédonienne Valérie Morignat, Docteur de l’Université Paris I et Fondatrice de la société Intelligent Story à San Francisco, explique comment les systèmes d’IA « doivent être le reflet de la diversité humaine et inscrire au cœur de ces systèmes les valeurs du monde le plus désirable pour tous ». Pour l’heure hélas, l’IA « hérite nos défauts », puisque « les faiseurs d’IA sont peu formés à l’éthique appliquée et aux méthodologies du design inclusif ».
L’Intelligence Artificielle serait la technologie du salut par excellence, soulageant l’humanité de ses maux par la vertu des algorithmes. Pourtant, si elle inonde le monde d’une lumière nouvelle, l’IA en projette également les ombres. Sous couvert d’objectivité et de neutralité mathématiques, les prédictions algorithmiques sont parfois biaisées et renforcent les préjudices. En dépit d’incontestables avancées, notamment dans le secteur de la Santé, l’IA hérite nos vilains défauts. Discrimination raciale, misogynie, exclusion, élitisme socioéconomique, hégémonie culturelle, les travers humains s’infiltrent dans les prédictions algorithmiques.
A l’évidence, aucun homologue artificiel ne saurait à lui-seul guérir le monde. Une approche éthique du design des algorithmes, centrée sur la représentation des diversités et l’intégration des valeurs humaines, peut en revanche faire de l’IA l’alliée d’un présent éclairé et d’un futur juste. En 2020, l’éthique est appelée à devenir le système nerveux de l’Intelligence Artificielle.
Si l’on en croît Sundar Pichai, CEO de Google et Alphabet, l’invention de l’IA serait plus conséquente que la découverte du feu. Son influence transformatrice est une réalité dans tous les secteurs. L’IA est capable de prédire les cancers et les crises cardiaques. Elle sauve les éléphants d’Afrique en devinant les déplacements des braconniers. Elle détecte les exoplanètes qui échappent aux astrophysiciens. Elle traque les criminels et conseille les juges. Elle parle les langues vivantes et en traduit des mortes. Elle a lu quasiment tous les livres, détecte les “fake news” et rédige des articles. Plus simplement, elle influence au quotidien le choix des films que nous regardons, de l’avion que nous prenons, et des routes que nous parcourons dans la forêt du réel. L’IA est devenue cette partenaire indispensable à l’expérience de la vie ordinaire comme à celle de l’extraordinaire.
Mais qu’appelle-t-on “Intelligence Artificielle” ? A l’origine, l’IA est un défi — celui d’émuler l’intelligence humaine dans les machines. Aujourd’hui, elle désigne un ensemble de technologies et de méthodes qui visent à remporter le pari. L’apprentissage automatique (Machine Learning), l’apprentissage profond (Deep Learning), les réseaux de neurones artificiels (Neural Nets), la vision par ordinateur (Computer Vision) et le traitement du langage naturel relèvent tous de l’IA. Ils permettent aux machines d’apprendre à partir de vastes volumes de données et de réaliser des prédictions sur le monde réel afin d’en résoudre les problèmes spécifiques. La nature, l’origine, la quantité, la qualité, et la variété des données qui servent à entraîner les algorithmes, jouent donc un rôle décisif dans la performance et l’évolution de l’IA.
Tout en étant à des années-lumière des scénarios de Science-Fiction, certains systèmes intelligents exhibent déjà des performances surhumaines. En janvier 2020, Google Health a démontré l’efficacité supérieure de son modèle algorithmique dans le diagnostic du cancer du sein, surpassant l’expertise des meilleurs radiologues. Dans le même registre, en juin 2019, la collaboration de chercheurs du MIT et du Massachusetts General Hospital a donné jour à un modèle capable de prédire le risque de développement d’un cancer du sein sur un horizon de cinq ans. L’algorithme exprimait une précision égale pour les patientes blanches et les patientes noires. Selon Allison Kurian, Professeure agrégée de médecine et de recherche à la Stanford University School of Medicine, cela n’était pas le cas avec les outils précédents. Entraîné sur la base de 90,000 mammographies provenant d’une grande diversité de patientes, le modèle MIT-MGH s’est démarqué par son équité diagnostique. Une avancée d’autant plus nécessaire que les femmes afro-américaines ont un risque accru de 42% de décéder d’un cancer du sein, du fait de l’héritage de freins structurels et financiers dans l’accès à la prévention et aux traitements.
La représentativité des populations et de leurs contextes au sein des données joue donc un rôle déterminant dans la performance équitable des algorithmes. Sans elle, ils comportent le risque d’automatiser et d’accroître les inégalités. Un problème complexe que les experts en ingénierie de l’IA peinent à résoudre. Sans doute parce qu’ils forment eux-mêmes des groupes trop homogènes sujets aux biais de raisonnement. Majoritairement blancs, de genre masculin, et issus des universités d’élite, les faiseurs d’IA sont peu formés à l’éthique appliquée et aux méthodologies du design inclusif, qui pourtant réduisent les biais cognitifs. En dépit des programmes centrés sur la diversité et l’inclusion, les femmes ne représentent en effet que 18% de la fraction influente des chercheurs en IA au niveau mondial, et 80% des professeurs d’université titulaires dans le domaine sont des hommes. Du côté de l’industrie, de tels chiffres surprennent peu si l’on consulte les rapports sur la diversité publiés par les géants de la Tech en 2019 : seulement 3.3% d’employés noirs (dont 1.4% de femmes) chez Google, tandis que Facebook et Microsoft font à peine mieux avec respectivement 3.8% et 4.4%. Dans les mêmes compagnies, les deux tiers des managers et directeurs sont des hommes blancs.
L’hégémonie culturelle pose également problème. Les pays dont la recherche a un impact réel sur les orientations du développement de l’IA sont les États-Unis, la Chine, le Royaume-Uni, l’Australie et le Canada.
Parce que l’IA projette une aura de neutralité et d’objectivité, son ADN doit être passé au crible. C’est le défi qu’a relevé Joy Buolamwini, doctorante au MIT et fondatrice de l’Algorithmic Justice League, en traquant les biais algorithmiques au sein des systèmes commerciaux d’analyse et de reconnaissance faciales. Alors que ces technologies sont déjà appliquées à des secteurs comme la sécurité, la surveillance, l’armée, les ressources humaines, ou la santé mentale, ils ne sont pas exempts de biais préjudiciables aux minorités. Épinglant notamment le système Rekognition (Amazon), Joy Buolamwini remarque notamment que “l’audit des systèmes d’analyse faciale montre que la technologie est meilleure dans l’analyse des visages masculins que féminins, et classe plus précisément les visages plus clairs que les visages plus sombres”. Ses recherches ont conclu à des taux d’erreur pouvant atteindre 34,7% dans la classification des femmes à peau foncée, pour seulement 0,8% pour les hommes à peau claire. D’après Joy Buolamwini, de tels écarts de performance résultent de disparités dans la composition démographique et phénotypique des ensembles de données utilisés pour entraîner les algorithmes.
Des femmes automatiquement défavorisées dans l’obtention d’un crédit, des distributeurs de savon qui ne détectent pas les peaux noires… Les algorithmes qui nous entourent sont-ils racistes et sexistes ? pic.twitter.com/wjYXjqoRI7
— Brut FR (@brutofficiel) January 2, 2020
A moins de garantir un seuil de confiance d’au moins 99% dans leurs résultats, de tels systèmes ne devraient pas être utilisés dans des secteurs sensibles ou les droits des individus sont en jeu. En 2019, en soutien aux travaux de Buolamwini, une coalition de 26 chercheurs, incluant le Dr. Yoshua Bengio, récipiendaire du prestigieux Prix Turing, a ainsi exigé d’Amazon le retrait du système Rekognition des offres commerciales pour la police. Depuis, les leaders du marché ont amélioré leurs modèles et Amazon a apporté des recommandations spécifiques visant l’usage prudent de systèmes tels que Rekognition par les forces de police.
Le manque de diversité humaine dans les bases de données n’est pas le seul obstacle à l’équité de performance des algorithmes. L’origine des données et les conditions de leur annotation influe sur la qualité d’apprentissage et d’entraînement des algorithmes.
Créée en 2009 par des chercheurs des universités de Princeton et Stanford, ImagetNet est la base de données mondiale servant à l’entraînement des algorithmes de reconnaissance visuelle. Les 14 millions d’images de la base ont été annotées via la plateforme de crowdsourcing Mechanical Turk, par une main-d’œuvre humaine sous-payée, à raison de 50 images par minute. ImageNet s’est faite épingler en septembre 2019 par l’experte en IA Kate Crawford et l’artiste Trevor Paglen. A partir d’ImageNet, Crawford et Paglen ont entraîné le modèle ImageNet Roulette afin de proposer aux internautes de soumettre leur selfie au jeu de la classification. Les selfies se sont vu associés à des étiquettes souvent fantaisistes telles que “bibliothécaire”, “mère supérieure”, “divorcé”, “ancien fumeur”, et parfois discriminantes ou offensantes telles que “loser”, “malfaiteur”, “sexy”, “allumeuse”, “nègre”, ou “bridé”.
ImageNet Roulette révèle la dangerosité de bases données annotées avec des catégories stéréotypées qui contaminent les algorithmes. Depuis, ImageNet a retiré 600,000 images de sa base de données et admis que 438 étiquettes étaient “dangereuses” et 1155 “sensibles et offensantes”.
Grâce à la vigilance des testeurs de l’IA, les algorithmes seront moins poreux et leurs résultats moins politiquement imprégnés. Toutefois, certains biais sont plus pernicieux que d’autres. Dans le domaine de la Justice, où les algorithmes sont utilisés dans la prédiction du risque criminel, il est urgent de poser la question des données en termes d’éthique. Un rapport de Pro Publica sur la Justice prédictive révèle des incohérences, tant au détriment de criminels modérés qu’à l’avantage de grands criminels. Dans le secteur du recrutement professionnel, l’usage de l’IA est également exponentiel ; depuis le tri automatique des CV, jusqu’au profilage émotionnel des candidats vial’analyse sémantique et vidéo. Là aussi, les biais peuvent aboutir à des discriminations involontaires.
Pour sélectionner la crème de la crème des candidats aux postes d’ingénieurs logiciel a pourvoir, Amazon a mis au point en un algorithme dédié qui s’est révélé biaisé. Systématiquement, l’algorithme a rejeté toutes les candidates pour ne retenir que des CV masculins. Aucun critère n’excluait pourtant délibérément les femmes. La discrimination résultait du fait que le modèle vérifiait l’adéquation des candidats au regard de l’analyse de CV d’ingénieurs sur une période antérieure de 10 ans. La surreprésentation masculine dans l’industrie de la Tech aidant, l’IA en concluait donc que les candidats masculins étaient les mieux adaptés. Un effet boule de neige que n’avaient pas anticipé les équipes en charge de l’algorithme.
Ce cas de figure confirme que l’implication de professionnels issus de la diversité, formés en éthique appliquée, représentatifs des intérêts divergents des populations impactées, est la meilleure réponse aux biais algorithmiques.
La part obscure dont Stephen Hawking voulait nous garder, tandis qu’il pointait dans l’IA le risque qu’elle n’entraîne notre perte, était peut-être son émergence précoce au sein d’une humanité encore percluse de travers anciens. Telle un miroir grossissant, l’IA les amplifie. Toutefois, dans ce paradoxe se tient aussi l’opportunité de révéler les récits hégémoniques du monde. Quand un algorithme de reconnaissance faciale, entraîné sur une majorité de visages blancs, ne parvient pas à voir le visage d’une personne noire, le préjudice est objectivé et nul ne peut l’ignorer. C’est L’homme invisible de Ralph Ellison qui s’algorithmise pour révéler au monde ses points aveugles.
En 2020, les principes de transparence, de représentativité, d’inclusion, et d’équité sont encore en jachère, alors qu’ils devraient être, au nom de l’intelligence, les fers de lance de l’évolution de l’IA. Le législateur doit œuvrer à un renforcement méthodique des exigences de transparence des usages et de contrôle des performances de l’IA. Les organisations publiques et privées doivent prendre des mesures favorables à l’éthique appliquée et au design inclusif de l’IA. Les experts en charge de la recherche, de l’éducation, de la stratégie, du développement, de l’implémentation et de l’évaluation des systèmes artificiels intelligents doivent être le reflet de la diversité humaine et, au final, inscrire au cœur de ces systèmes les valeurs du monde le plus désirable pour tous. L’éthique doit devenir le système nerveux de l’IA.
Par Valérie Morignat
CEO et fondatrice de la société de stratégie et formation en IA Intelligent Story (San Francisco). Docteur de l’Université Paris I, Panthéon-Sorbonne et Agrégée des universités. Maître de Conférences en disponibilité de l’Université Montpellier III. Experte certifiée par le MIT en Stratégie de l’IA et Machine Learning. Originaire de Nouvelle-Calédonie. Entrepreneure à San Francisco.
