Les aliments que nous mangeons ont des certifications de qualité. Pourquoi pas les algorithmes qui façonnent notre monde ?

  • Pour les fruits et légumes, il y a l’agriculture biologique.
  • Pour le café et les vêtements, il y a le commerce équitable.
  • Maintenant, les algorithmes ont leur propre marque de certification : un sceau d’approbation qui les désigne comme étant précis, impartiaux et équitables.

Le sceau est l’idée de Cathy O’Neil, statisticienne et auteure qui a beaucoup écrit sur la façon dont les algorithmes biaisés exacerbent l’inégalité dans la société. Ses écrits – à la fois sur son blog Math Babe et son influent livre Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracyde 2016 – sont devenus une pierre angulaire dans les conversations sur la façon dont les algorithmes dans les domaines de l’embauche, de l’assurance, de la justice pénale et du crédit peuvent avoir un impact négatif sur la vie des gens. Juste avant l’élection, Mme O’Neil a lancé sa propre entreprise, O’Neil Risk Consulting and Algorithmic Auditing, ou ORCAA, dans le but d’aider les organisations, y compris la startup de location Rentlogic, qui s’appuient sur des algorithmes pour s’assurer qu’ils ne nuisent pas accidentellement à des personnes.

« Les gens ne vérifient pas vraiment que les choses fonctionnent, explique-t-elle. « Ils ne savent même pas comment poser la question. »


[Image : Katie Falkenberg/courtoisie ORCAA].

La nouvelle entreprise de M. O’Neil s’attaque au problème inhérent à l’utilisation d’algorithmes optimisés pour certaines mesures par rapport à d’autres. Par exemple, Facebook optimise l’engagement pour maximiser les profits, plutôt que les faits ou le discours civil. Bien sûr, seules les entreprises qui se soucient de l’équité et de l’exactitude se soumettront à une vérification, ce qui signifie que les pires auteurs d’injustice algorithmique n’accepteraient probablement jamais qu’O’Neil regarde leur code. Mais l’ORCAA s’adresse aux entreprises et aux organisations qui se soucient d’un service conçu pour s’assurer que leurs algorithmes ne sont pas inexacts, discriminatoires ou qui enfreignent (ou non) involontairement (ou non) les lois sur les droits civils.
En plus de son audit, l’entreprise décerne un sceau visuel conçu pour signaler aux utilisateurs qu’une entreprise est digne de confiance – et que, au niveau minimum, ses produits utilisent des algorithmes en premier lieu.

Le sceau est un emblème visuel qui traduit l’audit en valeur de marque et de marketing, faisant ainsi un pas vers un monde où les entreprises affichent fièrement leur dévouement à des algorithmes honnêtes.

Pour tester un algorithme particulier, O’Neil crée ce qu’elle appelle une « matrice éthique » : une liste complète des préoccupations de l’entreprise, comme le profit, l’efficacité et la qualité des données, ainsi que les préoccupations de quiconque pourrait être touché par l’algorithme, qu’il s’agisse de personnes de races, de sexes et de capacités différents.

Ensuite, elle teste méthodologiquement l’algorithme pour chaque préoccupation et donne un code couleur de la matrice :

  • Vert signifie que tout est bon
  • Jaune signifie qu’il pourrait y avoir un problème
  • Rouge signifie que le mal est fait dans une certaine mesure.

Une fois qu’elle a eu une conversation avec les dirigeants de l’entreprise au sujet de la matrice éthique et de leur position, O’Neil travaille avec les codeurs et les spécialistes des données de l’entreprise pour ajuster ses algorithmes de manière à supprimer les boîtes rouges de la matrice. Le temps qu’il faut pour certifier un algorithme dépend du nombre de personnes qu’il affecte ; un client récent a pris 4 mois. Mme O’Neil dit qu’elle facture des taux horaires raisonnables de consultation, avec un coût distinct pour le logo d’approbation.

Alors que le cœur de son entreprise est le processus d’audit proprement dit, la certification elle-même est tout aussi importante. O’Neil donne aux organisations qui ont réussi l’audit un certificat et le sceau d’approbation à mettre sur leur site Web. Le sceau est un énoncé des valeurs de l’entreprise et de sa marque.

Jusqu’à présent, l’ORCAA a certifié Rentlogic et une autre entreprise et a une douzaine d’autres entreprises intéressées. À l’heure actuelle, O’Neil travaille avec un cabinet d’avocats pour analyser comment un algorithme de récidive a été utilisé lors d’une audience de libération conditionnelle et aider Seimens à mettre sur pied un système de vérification interne. Le sceau d’approbation de l’ORCAA s’est transformé en valeur monétaire réelle pour Rentlogic, qui a reçu un financement d’un investisseur, en partie parce que le VC a été tellement impressionné par l’initiative de la startup pour obtenir la certification, comme le rapporte Wired.

« Si [la certification est] digne de confiance, mon sceau d’approbation fera exactement ce qu’il est censé faire, c’est-à-dire transférer la confiance des personnes qui déploient des algorithmes aux personnes qui ont un intérêt dans l’algorithme « , dit M. O’Neil. « Ils auront confiance si il a été examiné, si il a été jugé équitablement, que leurs préoccupations ont été mises en balance avec les préoccupations des gens qui le construisent. »

Le sceau a aussi de la valeur parce qu’il s’agit d’un format reconnaissable : Nous avons l’habitude de voir des aliments et des produits qui ont été certifiés pour le respect de l’environnement et la sécurité.

« Pour le meilleur ou pour le pire, c’est quelque chose à laquelle les gens sont habitués, comme la certification biologique « , dit Katie Falkenberg, la conceptrice qui a créé le logo et le sceau de l’ORCAA. « D’un point de vue design, cela prend une grande dimension, bien plus que 17 pages de texte expliquant ce que cela signifie. »

Ces systèmes à eux seuls n’engendrent pas la confiance. Falkenberg souligne que le terme « biologique », malgré son ubiquité, est un terme chargé, avec une foule d’exigences quelque peu arbitraires et d’effets secondaires négatifs, comme les agriculteurs qui font faillite. Même O’Neil cite un autre exemple de la façon dont les certifications ne sont pas toujours la réponse : Après tout, le fait d’attribuer des titres adossés à des créances hypothécaires risquées et obtuses avec une notation « AAA » a contribué à la crise financière de 2008.

Elle prévoit de rendre son sceau d’approbation complètement transparent et open-source, avec des écrits détaillés sur son site Web qui détaille exactement ce qu’il signifie et ce qu’est le processus.

À l’heure actuelle, le sceau est une simple conception d’anneau avec le logo de l’ORCAA et un texte à comprendre ainsi:

« Algorithme vérifié pour l’exactitude, la partialité et l’équité », avec la date.

Falkenberg espère un jour le mettre à jour pour qu’il soit horodaté à partir de la date à laquelle il est téléchargé sur le site Web d’une entreprise. Parce que les algorithmes changent constamment, Falkenberg veut que le sceau indique aux utilisateurs quand un algorithme a été certifié pour la dernière fois. M. O’Neil indique que les algorithmes devraient être vérifiés régulièrement – peut-être une fois tous les deux ans environ, selon la complexité du code. Falkenberg espère également lier le sceau au site Web d’O’Neil afin que les utilisateurs puissent comprendre exactement ce que cela signifie lorsqu’ils le voient.


[Image : Katie Falkenberg/courtoisie ORCAA].

En plus de donner aux entreprises la possibilité de prouver à leurs utilisateurs qu’elles prennent l’équité algorithmique au sérieux, le sceau a également un volet éducatif. « Il signale quelque chose que les gens peuvent dire :  » Oh, je n’avais pas réalisé qu’ils utilisaient un algorithme, je suppose que je devrais considérer quels sont les autres sites Web pourraient utiliser des algorithmes « , dit M. Falkenberg. Elle imagine un jour pouvoir installer une extension de navigateur qui bloque tous les sites n’ayant pas fait l’objet d’un audit algorithme.
M. O’Neil espère que la matrice éthique et le sceau sont un moyen d’attirer l’attention des entreprises sur les problèmes de partialité et d’équité et d’amorcer une conversation à laquelle le grand public peut participer. Cependant, il est clair pour elle que l’équité algorithmique généralisée est encore loin d’être atteinte. Ses clients actuels sont venus la voir parce qu’ils veulent inspirer confiance aux utilisateurs – ils sont déjà conscients de la façon dont les algorithmes peuvent nuire aux utilisateurs. Ce ne sont pas les compagnies qui construisent des logiciels vraiment néfastes. Elle ne s’attend pas à ce que ces organisations lui permettent de vérifier leur technologie à moins que ce genre de vérification ne soit exigé par la loi.

« Je n’ai pas démarré cette entreprise pour ne traiter que des algorithmes qui sont assez bons « , dit-elle. « Je veux éventuellement clouer les algorithmes vraiment terribles et destructeurs au mur et dire, ce n’est pas assez bon, nous méritons mieux que ça. »

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.