La guerre à venir contre les algorithmes cachés qui piègent les gens dans la pauvreté

Les algorithmes imprègnent nos vies et influencent les décisions concernant la solvabilité, l’emploi, les soins de santé, les prestations gouvernementales, les assurances, le droit et presque tous les services auxquels nous avons accès ou que nous recevons. Beaucoup de ces algorithmes appartiennent à des sociétés privées qui ne fournissent pas d’explications sur la façon dont ces algorithmes arrivent à leurs décisions.

Ce qui est plus inquiétant, c’est que les personnes à faible revenu sont les plus touchées, surtout lorsque les algorithmes prennent de mauvaises décisions. Cela peut les pousser à la pauvreté et rendre leur récupération presque impossible [Karen Hao, MIT Technology Review].

« Les personnes à faible revenu sont les plus touchées par le passage aux algorithmes. Ce sont les personnes les plus vulnérables aux difficultés économiques temporaires qui sont codifiées dans les rapports des consommateurs, et celles qui ont besoin et recherchent des avantages publics. Au fil des ans, M. Gilman a vu de plus en plus de cas où les clients risquent d’entrer dans un cercle vicieux. « Une personne passe par tant de systèmes au quotidien », dit-elle. « C’est le cas pour nous tous. Mais les conséquences sont beaucoup plus dures pour les pauvres et les minorités ».

Les exemples sont nombreux.

Miriam, qui a survécu à une « dette forcée », lorsqu’un partenaire ou un membre de la famille ruine votre crédit en accumulant des dettes en votre nom, lutte pour retrouver sa cote de crédit.

34 000 personnes ont été accusées à tort de fraude lorsque l’État du Michigan a tenté d’automatiser son système d’allocations de chômage, ce qui a entraîné des faillites et des suicides.

Un membre de la famille qui avait perdu son emploi à cause de la pandémie s’est vu refuser les allocations de chômage en raison d’une défaillance d’un système automatisé. La famille a ensuite été poursuivie en justice pour expulsion après avoir été incapable de payer son loyer. Et bien que l’expulsion ne soit pas légale, elle provoquera un effet domino pour la famille à l’avenir, car tous ces algorithmes se nourrissent de données historiques :

Bien que l’expulsion ne soit pas légale en raison du moratoire du CDC, la poursuite sera toujours enregistrée dans les archives publiques. Ces dossiers pourraient alors alimenter les algorithmes de sélection des locataires, ce qui pourrait rendre plus difficile pour la famille de trouver un logement stable à l’avenir. Leur incapacité à payer le loyer et les services publics pourrait également avoir des répercussions sur leur cote de crédit, ce qui se répercutera une fois de plus. « S’ils essaient de mettre en place un service de téléphonie mobile, de contracter un prêt, d’acheter une voiture ou de postuler pour un emploi, cela a tout simplement des effets d’entraînement en cascade », explique M. Gilman.

Bien que les avocats soient maintenant plus conscients qu’un algorithme est fautif, cela rend leur travail beaucoup plus difficile, surtout lorsque l’explication de la façon dont l’algorithme est arrivé à sa décision n’est pas transparente. Cependant, de nombreux avocats au civil s’organisent désormais autour de cette question pour pouvoir mieux représenter leurs clients.

Heureusement, un groupe croissant d’avocats en droit civil commence à s’organiser autour de cette question. Empruntant un livre de tactique à la défense pénale qui s’oppose aux algorithmes d’évaluation des risques, ils cherchent à s’informer sur ces systèmes, à construire une communauté et à développer des stratégies de contentieux. « En fait, tous les avocats au civil commencent à s’occuper de ce genre de choses, car tous nos clients sont d’une manière ou d’une autre touchés par ces systèmes », explique Michele Gilman, professeur de droit clinique à l’université de Baltimore. « Nous devons nous réveiller, nous former. Si nous voulons vraiment être de bons avocats holistiques, nous devons en être conscients ».

L’explicabilité algorithmique est cruciale lorsqu’il s’agit de prendre des décisions sur la vie et les moyens de subsistance des gens. Malheureusement, l’industrie semble se diriger vers l’automatisation à une vitesse fulgurante sans réfléchir à la mise en œuvre de méthodes permettant de déterminer comment les algorithmes sont arrivés à leur décision.

Les agences gouvernementales achetant des algorithmes prêts à l’emploi développés par des entreprises privées pour automatiser les services gouvernementaux, les problèmes sont encore plus complexes. À mon avis, tous les algorithmes utilisés pour les services publics par les gouvernements devraient être audités, vérifiés et soumis à une réglementation stricte exigeant l’explicabilité des algorithmes.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.