L’informaticienne et l’activiste qui a obtenu le retrait de la Big Tech

Les recherches de Joy Buolamwini ont contribué à persuader Amazon, IBM et Microsoft de mettre un frein à la technologie de reconnaissance faciale. Par le biais de sa ligue pour la justice algorithmique (Algorithmic Justice League), à but non lucratif, elle lutte maintenant contre les préjugés liés à l’IA dans d’autres domaines. Via Fastcompany.

Joy Buolamwini a fait reculer Jeff Bezos.

En juin, Amazon a annoncé qu’elle décrétait un moratoire sur l’utilisation par la police de son logiciel de reconnaissance faciale controversé, appelé Rekognition, qu’elle avait vendu aux forces de l’ordre pendant des années au mépris des défenseurs de la vie privée. Cette décision a marqué un recul remarquable pour le célèbre PDG d’Amazon, qui s’est montré très têtu. Et il n’était pas le seul. La même semaine, IBM s’engageait à arrêter complètement le développement de la reconnaissance faciale, et Microsoft s’engageait à ne pas divulguer son système à la police jusqu’à l’adoption d’une réglementation fédérale.

Ces décisions ont été prises dans un contexte de protestations internationales généralisées contre le racisme systémique, déclenché par le meurtre de George Floyd aux mains de la police de Minneapolis. Mais les bases avaient été jetées quatre ans plus tôt, lorsque Joy Buolamwini, alors étudiante diplômée de 25 ans au Media Lab du MIT, a commencé à étudier les disparités de race, de type de peau et de sexe intégrées dans les technologies de reconnaissance faciale disponibles dans le commerce. Ses recherches ont abouti à deux études révolutionnaires, évaluées par des pairs, publiées en 2018 et 2019, qui ont révélé comment les systèmes d’Amazon, d’IBM, de Microsoft et d’autres sociétés étaient incapables de classer les visages féminins sombres avec autant de précision que ceux des hommes blancs, brisant ainsi le mythe de la neutralité des machines.

Aujourd’hui, Buolamwini galvanise un mouvement croissant pour exposer les conséquences sociales de l’intelligence artificielle. Par le biais de son association à but non lucratif, l’Algorithmic Justice League (AJL), qui existe depuis près de quatre ans, elle a témoigné devant les législateurs au niveau fédéral, étatique et local sur les dangers de l’utilisation des technologies de reconnaissance faciale sans surveillance de leur création ou de leur déploiement.

 

Depuis la mort de George Floyd, elle a appelé à l’arrêt complet de l’utilisation de la surveillance faciale par la police, et fournit aux militants des ressources et des outils pour exiger une réglementation. De nombreuses entreprises, comme Clearview AI, continuent de vendre des analyses faciales à la police et aux agences gouvernementales. Et de nombreux services de police utilisent les technologies de reconnaissance faciale pour identifier, selon les termes du département de police de New York, les individus qui ont commis, commettent ou sont sur le point de commettre des crimes. « Nous avons déjà des forces de l’ordre qui sont imprégnées de racisme systémique », dit M. Buolamwini. « La dernière chose dont nous avons besoin est que cette présomption de culpabilité des personnes de couleur, des personnes noires, soit confirmée à tort par un algorithme ». (Ce n’est pas une hypothèse : l’ACLU du Michigan a récemment déposé une plainte contre le département de police de Detroit au nom d’un homme qui a été arrêté à tort pour vol à l’étalage sur la base d’une analyse d’image numérique incorrecte).

Pour M. Buolamwini, la pause de la Big Tech dans le développement de cette technologie est loin d’être suffisante. Alors que les manifestations « Black Lives Matter » ont pris de l’ampleur au cours de l’été, elle a utilisé sa plateforme pour appeler les entreprises technologiques à donner au moins un million de dollars chacune à des organisations telles que Data for Black Lives et Black in AI qui font avancer la justice raciale dans le secteur technologique. L’AJL a publié un livre blanc explorant le concept d’une autorité de type FDA pour superviser les technologies de reconnaissance faciale. Et l’organisation à but non lucratif, qui a reçu par le passé des subventions des fondations Ford et MacArthur, vient de recevoir un nouveau financement des fondations Sloane et Rockefeller pour créer un ensemble d’outils permettant d’aider les gens à signaler les systèmes d’IA nuisibles. « Il n’y a vraiment aucune garantie qu’il n’y aura pas d’abus de pouvoir de ces outils », déclare M. Buolamwini. C’est là que l’AJL entre en jeu.

Buolamwini a été inspirée pour enquêter sur les biais algorithmiques lorsqu’elle s’est retrouvée à porter un masque blanc pour coder au Media Lab du MIT. Elle était en train de créer un projet fantaisiste de réalité augmentée et la technologie de vision par ordinateur qu’elle utilisait avait du mal à détecter son visage. Lorsqu’elle a mis un masque blanc, masquant entièrement ses traits, l’ordinateur l’a finalement reconnue.

Le problème lui était familier. En tant qu’étudiante de premier cycle à Georgia Tech, Buolamwini avait dû « emprunter » le visage de sa colocataire pour apprendre à un robot à jouer au coucou. Plus tard, elle a rencontré des robots dans une startup de Hong Kong qui avaient des problèmes similaires. À l’époque, Buolamwini pensait que les entreprises technologiques allaient bientôt résoudre le problème. Au MIT, elle a réalisé qu’ils ne savaient même pas qu’il y avait un problème.

Pour sa thèse de maîtrise, elle a commencé à tester des applications d’analyse faciale avec des photos de parlementaires d’Europe et d’Afrique. Bien qu’elle ait constaté des disparités entre les sexes et les races, elle a hésité, au début, à rendre publics les résultats. « Il n’est pas facile de se mesurer à certaines des plus grandes entreprises technologiques quand on sait qu’elles peuvent déployer toutes leurs ressources contre vous. Je suis encore très consciente d’être une jeune femme noire en Amérique. Et dans le domaine de l’IA, les personnes que je voulais évaluer tenaient toutes les ficelles du métier », dit-elle. Mais après l’élection de 2016, elle a décidé que les enjeux étaient trop élevés.

En 2018, elle a fait de sa thèse son document « Gender Shades« . Rédigée en collaboration avec Timnit Gebru (qui fait maintenant partie de l’équipe d’intelligence artificielle éthique de Google), l’étude a montré que les taux d’erreur des systèmes les plus utilisés, y compris ceux d’IBM et de Microsoft, étaient nettement plus élevés pour les visages féminins sombres que pour les visages masculins clairs – jusqu’à 34 % pour IBM. Un an plus tard, M. Buolamwini et sa collègue Deborah Raji, alors stagiaire au MIT et aujourd’hui boursière à l’AI Now Institute, ont publié l’étude « Actionable Auditing« , qui a montré une certaine amélioration des algorithmes des entreprises dans les « Gender Shades » – et a révélé des défauts troublants dans l’Amazon Rekognition, qui classait à tort les femmes comme des hommes 19% du temps, et les femmes à la peau plus foncée comme des hommes 31% du temps.

https://youtu.be/QxuyfWoVV98

Lire la suite sur Fastcompany.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.