La partialité des algorithmes est plus facile à corriger que la partialité des personnes

La discrimination raciale par des algorithmes ou par des personnes est nuisible – mais c’est là que les similitudes s’arrêtent, raconte le NewYorkTimes.

Dans une étude publiée il y a 15 ans, deux personnes ont postulé un emploi. Leurs curriculum vitae étaient à peu près aussi semblables que deux curriculum vitae peuvent l’être. Une personne s’appelait Jamal, l’autre Brendan.

Dans une étude publiée cette année, deux patients ont consulté un médecin. Tous deux étaient aux prises avec le diabète et l’hypertension artérielle. Un patient était noir, l’autre blanc.

Les deux études ont documenté l’injustice raciale : Dans le premier cas, le candidat dont le nom a l’air noir a obtenu moins d’entretiens d’emploi. Dans le second, le patient noir a reçu des soins moins bons.

Mais ils différaient sur un point crucial. Dans le premier cas, les gestionnaires d’embauche ont pris des décisions partiales. Dans la seconde, le coupable était un programme informatique.

En tant que coauteur des deux études,   les considère comme une leçon de contrastes. Elles montrent côte à côte les différences marquées entre deux types de biais : humain et algorithmique.

Marianne Bertrand, économiste à l’Université de Chicago, et ont mené la première étude : ils ont répondu aux offres d’emploi réelles par des curriculum vitae fictifs, dont la moitié se sont vu attribuer au hasard un nom distinctivement noir.

L’étude disait : « Emily et Greg sont-ils plus employables que Lakisha et Jamal ? »

La réponse : Oui, et de beaucoup. Le simple fait d’avoir un nom blanc a augmenté de 50 % le nombre de rappels pour les entrevues d’emploi.

publié l’autre étude dans la revue « Science » fin octobre avec ses co-auteurs : Ziad Obermeyer, professeur de politique de santé à l’Université de Californie à Berkeley ; Brian Powers, clinicien boursier au Brigham and Women’s Hospital ; et Christine Vogeli, professeur de médecine à la Harvard Medical School. Ils ses sont concentrés sur un algorithme qui est largement utilisé dans l’allocation des services de soins de santé et qui a touché environ une centaine de millions de personnes aux États-Unis.

Pour mieux cibler les soins et fournir de l’aide, les systèmes de soins de santé se tournent vers des données volumineuses et des algorithmes élaborés pour identifier les patients les plus malades.

Ils ont trouvé que ces algorithmes ont un préjugé racial intégré. À des niveaux similaires de maladie, les patients noirs étaient jugés moins à risque que les patients blancs. L’ampleur de la distorsion était immense : L’élimination du biais algorithmique ferait plus que doubler le nombre de patients noirs qui recevraient une aide supplémentaire. Le problème résidait dans un choix technique subtil : pour mesurer la « maladie », ils utilisaient les données les plus facilement disponibles, les dépenses de santé. Mais comme la société dépense moins pour les patients noirs que pour les patients blancs également malades, l’algorithme a sous-estimé les besoins réels des patients noirs.

L’une des différences entre ces études est le travail nécessaire pour découvrir les biais.

Leur étude de curriculum vitae de 2004 ressemblait davantage à une opération secrète complexe qu’à une recherche universitaire traditionnelle. Ils ont créé une grande banque de CV fictifs et d’annonces de recherche d’emploi tous les jours. Ils ont envoyé par télécopieur (oui, l’étude remonte à bien longtemps) les curriculum vitae de chaque offre d’emploi et ils ont établi des numéros de téléphone avec boîte vocale. Ensuite, ils ont attendu que les employeurs potentiels rappellent.

Cela a duré des mois – tout cela avant même d’avoir eu un seul point de données à analyser. Il est souvent très difficile de déceler un comportement discriminatoire de la part d’un groupe particulier de personnes – dans ce cas, les gestionnaires d’embauche.

En revanche, la découverte de la discrimination algorithmique était beaucoup plus simple. Il s’agissait d’un exercice statistique – l’équivalent de demander à l’algorithme  » que feriez-vous avec ce patient  » des centaines de milliers de fois, et de cartographier les différences raciales. Le travail était technique et pragmatique, ne nécessitant ni discrétion ni ingéniosité.

Les humains sont impénétrables d’une manière que les algorithmes ne le sont pas. Les explications de notre comportement changent et se construisent après coup. Pour mesurer la discrimination raciale pratiquée par les gens, ils doivent créer des circonstances contrôlées dans le monde réel où seule la race diffère. Pour un algorithme, on peut créer un algorithme également contrôlé simplement en lui fournissant les bonnes données et en observant son comportement.

Les algorithmes et les humains ne s’entendent pas non plus sur ce que l’on peut faire contre les préjugés une fois qu’ils ont été découverts.

Avec leur étude de curriculum vitae, il s’est avéré extrêmement difficile de régler le problème. D’une part, le fait d’avoir décelé un parti pris en moyenne ne nous a pas dit qu’une entreprise en particulier était en faute, bien que des recherches récentes aient permis de trouver des moyens intelligents de détecter la discrimination.

Un autre problème est plus fondamental. Changer le cœur et l’esprit des gens n’est pas chose facile. Par exemple, la formation sur les préjugés implicites semble avoir, au mieux, un impact modeste.

Par contre, ils ont déjà construit un prototype qui corrigerait le biais algorithmique trouvé – comme l’a fait le fabricant original, qui n’avait pas l’intention de produire des résultats biaisés en premier lieu. Ils ont offert un service gratuit aux systèmes de santé utilisant ces algorithmes pour aider à en construire un nouveau qui n’était pas raciste. Il y a eu beaucoup de preneurs.

Changer les algorithmes est plus facile que changer les gens : les logiciels sur les ordinateurs peuvent être mis à jour ; le « wetware » dans notre cerveau s’est jusqu’à présent avéré beaucoup moins flexible.

Rien de tout cela n’est destiné à diminuer les pièges et les précautions nécessaires pour fixer le biais algorithmique. Mais comparé à l’intransigeance des préjugés humains, cela semble beaucoup plus simple.

La discrimination par algorithme peut être plus facilement découverte et plus facilement corrigée. Dans un article publié en 2018 avec Cass Sunstein, Jon Kleinberg et Jens Ludwig, a adopté un point de vue prudemment optimiste et soutenu qu’avec une réglementation adéquate, les algorithmes peuvent aider à réduire la discrimination.

Mais l’expression clé ici est « une réglementation adéquate », ce que nous n’avons pas pour l’instant.

Nous devons nous assurer que toutes les données nécessaires à l’algorithme, y compris les données utilisées pour le tester et le créer, sont soigneusement stockées. Quelque chose de semblable est déjà exigé sur les marchés financiers, où des documents copieux sont conservés et signalés, tout en préservant le secret commercial des entreprises concernées. Nous aurons besoin d’un organisme de réglementation bien financé et de vérificateurs hautement qualifiés pour traiter ces données.

Une fois qu’une réglementation adéquate sera en place, de meilleurs algorithmes pourront aider à assurer un traitement équitable dans notre société, même s’ils ne résoudront pas le parti pris profond et structurel qui continue de sévir aux États-Unis. Il n’est pas plus facile de corriger les préjugés de la société que de corriger les préjugés des gens.

Après avoir lu notre rapport sur le biais dans les algorithmes de santé, son père m’a rappelé un épisode de mon enfance.

Quand il avait huit ou neuf ans, ils allaient chez Sears pour faire prendre une photo de famille. Ils venaient d’arriver d’Inde à Los Angeles, où il avait grandi dans un monde où les photos étaient rares et presque magiques. C’était donc un voyage spécial. Il se souvient que sa mère a mis un magnifique sari pour l’occasion.

Un photographe a pris nos photos et, quelques jours plus tard, à la maison, ils ont ouvert l’enveloppe, mais ont été déçus à l’intérieur. Leurs visages étaient à peine visibles. Seul le blanc de nos dents et de nos yeux est passé à travers. Ils ont appris, beaucoup plus tard, que l’équipement avait été calibré pour la peau blanche, une expérience partagée par de nombreuses personnes à la peau plus foncée. (Shriley Kard)

Son père avait établi une connexion astucieuse. Les développeurs de photos et les concepteurs d’algorithmes avaient fait la même erreur : ne pas apprécier la diversité des personnes sur lesquelles leur équipement pouvait être utilisé.

L’analogie peut aller plus loin : Leur étude de curriculum vitae leur a permis de constater que les photographes eux-mêmes étaient biaisés.

Et cela aurait été un problème différent. Il est beaucoup plus facile de réparer un appareil photo qui n’enregistre pas les peaux foncées que de réparer un photographe qui ne voit pas les personnes à la peau foncée.

Via The NewYorkTimes

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.