Inspectez les algorithmes de polarisation

Les tribunaux, les banques et d’autres institutions utilisent des systèmes automatiques d’analyse de données pour prendre des décisions concernant votre vie. Ne laissons pas aux décideurs de l’algorithme décider s’ils le font correctement.

C’était une histoire frappante. « Machine Bias », et le teaser qui proclame: « Il existe un logiciel utilisé partout dans le pays pour prédire les futurs actes criminels. Et il a un parti pris contre les noirs.  »

ProPublica, une organisation de news à but non lucratif, primée par le Prix Pulitzer, avait analysé le logiciel d’évaluation des risques appelé COMPAS. Il est utilisé pour prédire les récidives de certains criminels les plus susceptibles de passer à l’acte. Guidés par de telles prévisions, les juges dans les tribunaux des États-Unis prennent des décisions concernant l’avenir des défendeurs et des condamnés, ce qui détermine tout, de l’amende aux peines. Lorsque ProPublica a comparé les évaluations de risque de COMPAS pour plus de 10 000 personnes arrêtées dans un comté de la Floride, à quelle fréquence ces gens ont récidivé, il a découvert que l’algorithme « prédisait correctement la récidive pour les accusés, noirs et blancs, à peu près au même rythme ». Mais quand l’algorithme était faux, il était faux de différentes manières pour les noirs et les blancs.

A VOIR : Police prédictive

A VOIR : Preuve que les algorithmes reprennent nos préjugés

A VOIR : Le danger des algorithmes

Qu’il soit approprié d’utiliser des systèmes comme COMPAS est une question qui va au-delà du biais racial. La Cour suprême des États-Unis pourrait bientôt reprendre le cas d’un condamné du Wisconsin qui affirme que son droit à la procédure conventionnelle a été violé lorsque le juge qui l’a condamné après avoir consulté COMPAS, parce que le fonctionnement du système était opaque pour le défendeur. Les problèmes potentiels avec d’autres systèmes automatisés de prise de décision (ADM) existent en dehors du système de justice. Sur la base des tests de personnalité en ligne, les SMA contribuent à déterminer si quelqu’un est la bonne personne pour un emploi. Les algorithmes de notation de crédit jouent un rôle énorme dans la façon dont vous obtenez un prêt hypothécaire, une carte de crédit ou même les offres de téléphone cellulaire les plus rentables.

Ce n’est pas nécessairement une mauvaise idée d’utiliser des systèmes d’évaluation des risques comme COMPAS. Dans de nombreux cas, les systèmes ADM peuvent accroître l’équité. La prise de décision humaine est parfois si incohérente qu’elle nécessite une surveillance pour la mettre en conformité avec nos normes de justice. Comme l’a montré une étude spécifiquement inquiétante, les commissions de libération conditionnelle étaient plus susceptibles de libérer les condamnés si les juges venait juste de faire une pause-repas. Cela n’a probablement jamais eu lieu pour les juges. Un système ADM pourrait montrer de telles incohérences et améliorer le processus.

Mais souvent, nous n’en savons pas assez sur le fonctionnement des systèmes ADM pour savoir s’ils sont plus équitables que les humains seuls. En partie parce que les systèmes font des choix sur la base d’hypothèses sous-jacentes qui ne sont pas claires même pour les concepteurs des systèmes, il n’est pas nécessairement possible de déterminer quels algorithmes sont biaisés et lesquels ne le sont pas. Et même lorsque la réponse semble claire, comme dans les résultats de ProPublica sur COMPAS, la vérité est parfois plus compliquée.

Que devons-nous faire pour mieux gérer les ADM ? Les sociétés démocratiques ont besoin de plus de contrôle sur ces systèmes qu’ils n’en ont actuellement. AlgorithmWatch, une organisation de défense des intérêts à but non lucratif basée à Berlin, cofondée avec un informaticien, un philosophe juridique et un autre journaliste, vise à aider les gens à comprendre les effets de ces systèmes. « Le fait que la plupart des procédures ADM sont des boîtes noires pour les personnes victimes d’elles n’est pas une loi de la nature. Il faut que cela se termine », est-il affirmé dans leur manifeste. Pourtant, la prise en compte de la question est différente de celle de nombreux critiques, car la crainte est que la technologie puisse être diabolisée de façon imméritée. Ce qui importe, c’est que les sociétés, et pas seulement les fabricants d’algorithmes, mettent des jugements de valeur qui entrent dans les SMA.

MESURES D’ÉQUITÉ

COMPAS détermine ses scores de risque des réponses à un questionnaire qui explore les antécédents criminels d’un défendeur et ses attitudes à l’égard de la criminalité. Est-ce que cela produit des résultats biaisés ?

Après l’enquête de ProPublica, Northpointe, la société qui a développé COMPAS, a contesté l’histoire, arguant que les journalistes ont mal interprété les données, ainsi que trois chercheurs en justice pénale, y compris un d’une organisation de réforme de la justice. Qui a raison: les journalistes ou les chercheurs ? Krishna Gummadi, responsable du groupe de recherche sur les systèmes en réseau à l’Institut Max Planck pour les systèmes logiciels de Saarbrücken, en Allemagne, offre une réponse surprenante: tous.

Gummadi, qui a largement étudié l’équité dans les algorithmes, affirme que les résultats de ProPublica et Northpointe ne se contredisent pas. Ils diffèrent parce qu’ils utilisent différentes mesures d’équité.

Imaginez que vous concevez un système pour prédire quels criminels est susceptible de récidiver. Une option consiste à optimiser les « vrais positifs », ce qui signifie que vous identifiez le plus grand nombre possible de personnes qui risquent de commettre un autre crime. Un problème avec cette approche est qu’il tend à augmenter le nombre de faux positifs: les personnes qui seront injustement classées comme récidivistes probables. Le réglage peut être ajusté pour délivrer autant de faux positifs que possible, mais cela tend à créer de plus faux négatifs: récidivistes probables qui se glissent et obtiennent un traitement plus indulgent que prévu.

L’augmentation de l’incidence des vrais positifs ou l’abaissement des faux positifs sont les deux façons d’améliorer une mesure statistique connue sous le nom de valeur prédictive positive ou PPV. C’est le pourcentage de tous les aspects positifs qui sont vrais.

Comme l’a souligné Gummadi, ProPublica a comparé les taux faussement positifs et les faux taux négatifs pour les noirs et les blancs et les a trouvés faussés en faveur des blancs. Northpointe, en revanche, a comparé les PPV pour différentes races et les a trouvés similaires. En partie, les taux de récidive pour les noirs et les blancs diffèrent en fait, il est mathématiquement probable que les valeurs prédictives positives pour les personnes de chaque groupe soient similaires alors que les taux de faux négatifs ne le sont pas.

Une chose que cela nous dit est que la société en général – les législateurs, les tribunaux, un public informé – devrait décider de ce que nous voulons que ces algorithmes hiérarchisent. Est-ce que nous sommes principalement intéressés à connaître le nombre de chances possible que quelqu’un récidive ? Quels compromis devons-nous faire pour assurer la justice et réduire les coûts sociaux massifs de l’emprisonnement ?

Peu importe la façon dont les réglages sont définis, tout algorithme aura des biais – c’est, après tout, une prédiction basée sur des statistiques généralisées, et non sur la situation individuelle de quelqu’un. Mais nous pouvons encore utiliser de tels systèmes pour guider les décisions qui sont plus sages et plus justes que celles que les humains ont tendance à faire de leur propre chef.

La controverse entourant les pratiques de stop-and-frisk du Département de police de New York contribue à montrer pourquoi. Entre janvier 2004 et juin 2012, la police de New York a effectué 4,4 millions d’arrestations dans le cadre d’un programme qui a permis aux agents d’incarcérer temporairement, de poser des questions et de rechercher des personnes dans la rue pour des armes et d’autres contrebandes. Mais en fait, « 88% des 4,4 millions d’arrêts n’ont donné lieu à aucune autre action, c’est-à-dire qu’une grande majorité de ceux qui ont été arrêtés ne faisaient rien de mal », a déclaré le New York Times dans un éditorial décrivant la pratique. De plus, « dans environ 83% des cas, la personne s’est arrêtée était noire ou hispanique, même si les deux groupes représentaient un peu plus de la moitié de la population ». Cet exemple de biais humain, éclairé par l’analyse des données, rappelle que les systèmes ADM pourraient jouer un rôle positif dans la justice pénale. Utilisés correctement, ils offrent « la chance d’une génération, et peut-être d’une vie, de réformer la peine et de dévérouiller l’incarcération de masse d’une manière scientifique », selon Anthony Flores, Christopher Lowenkamp et Kristin Bechtel, trois chercheurs qui ont trouvé des défauts dans la méthodologie que ProPublica avait l’habitude d’analyser sur COMPAS. Les auteurs craignent que cette opportunité « se glisse en raison de la désinformation et du malentendu » à propos de la technologie.

Mais si nous acceptons que les algorithmes pourraient rendre la vie plus juste si ils sont bien conçues, comment savoir si ils le sont ?

Les sociétés démocratiques devraient maintenant travailler pour déterminer la transparence qu’elles attendent des systèmes ADM. Avons-nous besoin d’une nouvelle réglementation du logiciel pour s’assurer qu’il peut être correctement inspecté ? Les législateurs, les juges et le public devraient avoir leur mot à dire dans lequel les mesures d’équité sont priorisés par des algorithmes. Mais si les algorithmes ne reflètent pas réellement ces jugements de valeur, qui sera tenu responsable ?

Ce sont les questions difficiles auxquelles nous devons répondre si nous prévoyons de bénéficier des progrès de la technologie algorithmique.

https://d267cvn3rvuq91.cloudfront.net/v/images/ab01.gif.mp4?sw=1040

 

Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s