Le marquage au rouge de la haute technologie : L’AI met discrètement en évidence le racisme institutionnel

Un article de Fastcompany au sujet de comment une forme interdite de discrimination institutionnalisée est discrètement mise à niveau pour le 21e siècle.

 » À l’ère des Big Data, les demandes d’emploi, d’assurance et de prêt sont de plus en plus souvent évaluées par des modèles d’exploration de données qui ne sont pas aussi évidents mais qui peuvent être encore plus pernicieux que les cartes à code de couleur, parce qu’ils ne sont pas limités par des frontières géographiques et parce que leur fonctionnement interne est souvent caché.


Personne, pas même les programmeurs qui écrivent le code, ne sait exactement comment les algorithmes de la boîte noire font leurs évaluations, mais il est presque certain que ces algorithmes prennent en compte directement ou indirectement le sexe, la race, l’ethnicité, l’orientation sexuelle, etc. Il n’est ni moral ni éthique de pénaliser des individus parce qu’ils partagent des caractéristiques de groupe qu’un algorithme de la boîte noire a mis en corrélation statistique avec le comportement.

De nombreux algorithmes d’évaluation des candidats à l’emploi identifient des schémas statistiques dans les caractéristiques des employés actuels. Le responsable scientifique d’une entreprise a reconnu que certains des facteurs choisis par son logiciel n’ont pas de sens. Par exemple, le logiciel a constaté que plusieurs bons programmeurs de sa base de données visitaient fréquemment un site de manga japonais particulier ; il a donc décidé que les personnes qui visitent ce site sont susceptibles d’être de bons programmeurs. Le responsable scientifique a déclaré : « De toute évidence, il ne s’agit pas d’une relation de cause à effet », mais il a fait valoir que cela restait utile car il y avait une forte corrélation statistique. C’est un exemple atroce de la croyance mal fondée – même de la part de personnes qui devraient mieux savoir – que les modèles statistiques sont plus importants que le bon sens.

Via Fastcompany

(Via Alexandra D-S.)

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.