La deuxième vague de responsabilisation algorithmique

Au cours de la dernière décennie, la responsabilité algorithmique est devenue une préoccupation importante pour les spécialistes des sciences sociales, les informaticiens, les journalistes et les avocats. Les exposés ont suscité de vifs débats sur les peines algorithmiques. Les chercheurs ont exposé des géants de la technologie en montrant des publicités de femmes pour des emplois moins bien rémunérés, en faisant de la discrimination contre les personnes âgées, en déployant des schémas sombres trompeurs pour tromper les consommateurs et les amener à acheter des choses et en manipulant les utilisateurs vers des trous à lapin à contenu extrémiste. Les organismes de réglementation d’intérêt public ont commencé à se pencher sur la transparence algorithmique et l’équité en ligne, en s’appuyant sur le travail des juristes qui ont réclamé l’application régulière de la loi sur le plan technologique, la neutralité de la plateforme et les principes de non discrimination.

Ce travail d’élaboration des politiques ne fait que commencer, car les experts traduisent la recherche universitaire et les demandes des militants en lois et règlements. Les législateurs proposent des projets de loi exigeant des normes de base en matière de transparence algorithmique et d’audit. Nous nous engageons sur un long chemin pour nous assurer que les pratiques d’embauche fondées sur l’IA et la tarification financière ne sont pas utilisées si elles ont un impact disparate sur les communautés historiquement marginalisées. Et tout comme cette « première vague » de recherche et d’activisme sur la responsabilité algorithmique a ciblé les systèmes existants, une « deuxième vague » émergente de responsabilité algorithmique a commencé à aborder des problèmes plus structurels. Ces deux vagues seront essentielles pour assurer une économie politique de la technologie plus juste et plus émancipatrice.

Bien qu’ils aient d’abord été accablés d’évaluations informatiques de personnes, même de nombreux membres de l’establishment corporatif et gouvernemental reconnaissent maintenant que les données peuvent être biaisées, imprécises ou inappropriées. Les universitaires ont mis sur pied des conférences telles que «  Équité, responsabilité et transparence dans l’apprentissage machine « , afin de créer des forums institutionnels permettant aux codeurs, aux avocats et aux spécialistes des sciences sociales d’interagir régulièrement pour aborder les questions de justice sociale. Lorsque les entreprises et les gouvernements annoncent leur intention d’utiliser l’IA, il y a des défis routiniers et des demandes de vérification. Certains d’entre eux entraînent de véritables changements de politiques. Par exemple, le gouvernement libéral australien a récemment renversé certaines politiques de « robodebt », cédant finalement à l’indignation justifiée devant la relance algorithmique.

Tous ces développements positifs résultent d’une « première vague » de plaidoyer et de recherche sur la responsabilité algorithmique (pour emprunter une périodisation familière à l’histoire du féminisme). Il s’agit là d’actions vitales qui doivent se poursuivre indéfiniment – il faut une vigilance constante à l’égard de l’IA dans les systèmes sociotechniques, qui sont trop souvent les législateurs non reconnus de notre accès quotidien à l’information, au capital, et même à la rencontre. Cependant, comme Julia Powles et Helen Nissenbaum l’ont prévenu, nous ne pouvons pas nous arrêter à cette première vague. Ils posent les questions suivantes :

Quels systèmes méritent vraiment d’être construits ?
Quels sont les problèmes les plus importants à résoudre ?
Qui est le mieux placé pour les construire ?
Et qui décide ?
Nous avons besoin de véritables mécanismes de responsabilisation, externes aux entreprises et accessibles aux populations.
Tout système d’I.A. intégré dans la vie des gens doit être capable de contester, de rendre compte et d’obtenir réparation aux citoyens et aux représentants de l’intérêt public.

Alors que la première vague de responsabilisation algorithmique se concentre sur l’amélioration des systèmes existants, une deuxième vague de recherche a demandé s’ils devraient être utilisés et, le cas échéant, qui les gouvernera.

Par exemple, en matière de reconnaissance faciale, les chercheurs de la première vague ont démontré qu’un trop grand nombre de ces systèmes sont incapables de bien identifier les visages des minorités. Ces chercheurs ont eu tendance à s’efforcer de rendre la reconnaissance faciale plus inclusive, en veillant à ce qu’elle ait un taux de réussite aussi élevé pour les minorités que pour la population majoritaire. Cependant, plusieurs chercheurs et défenseurs de la deuxième vague ont demandé : si ces systèmes sont souvent utilisés pour l’oppression ou la stratification sociale, l’inclusion devrait-elle vraiment être le but ? N’est-il pas préférable de les interdire, ou du moins de s’assurer qu’elles ne sont autorisées que pour des utilisations socialement productives ?

Les préoccupations de la deuxième vague sont encore plus prononcées dans le cas de la classification faciale de l’IA, qui a été présentée comme étant maintenant (ou bientôt) capable de reconnaître l’orientation sexuelle, les tendances à la criminalité et le risque de mortalité à partir des images des visages. Il ne suffit pas que le milieu de la recherche compile les raisons pour lesquelles  » l’inférence faciale des tendances à la criminalité « , lorsqu’elle est extrapolée à partir d’un ensemble de données petites ou partielles, est peu susceptible de fournir des indices durables quant aux personnes plus susceptibles de commettre des crimes que les autres. Nous devrions également nous demander si de telles recherches ne devraient même pas être effectuées.

Nous devrions nous attendre à ce que cette division entre les préoccupations de la première et de la deuxième vague alimente également les discussions sur l’IA et la robotique en médecine. Pour certains chercheurs qui mettent au point des applications en santé mentale, les préoccupations relatives à la responsabilité algorithmique de la première vague porteront sur la question de savoir si un corpus linguistique de stimuli et de réponses couvre adéquatement diverses communautés ayant des accents et des modes d’auto-présentation distincts.

Les critiques de la deuxième vague de ces applications pourraient adopter une approche davantage axée sur le droit et l’économie politique, en se demandant si les applications perturbent prématurément les marchés (et la profession) des soins de santé mentale afin d’accélérer le remplacement des professionnels plus coûteux, experts et empathiques par des logiciels bon marché (quoique limités). Ces questions de travail sont déjà un élément essentiel de la réglementation des plates-formes. Je prévois qu’elles s’étendront à de nombreux domaines de la recherche sur la responsabilité algorithmique, au fur et à mesure que les critiques examineront qui profite de la collecte, de l’analyse et de l’utilisation des données (et qui en subit le fardeau).

Et enfin (pour ce billet), on pourrait assister à un clivage dans la réglementation financière. Les voix de l’establishment ont salué la fintech comme un moyen révolutionnaire d’inclure plus d’individus dans le système financier. Étant donné les biais dans les pointages de crédit fondés sur des données « marginales » ou « alternatives » (comme l’utilisation des médias sociaux), cet établissement est relativement à l’aise avec certaines interventions anti-biais de base.

Mais nous devrions aussi nous poser des questions plus larges sur les cas où l' »inclusion financière » peut être prédatrice, flippante (comme dans la surveillance 24/7), ou subordonnée (comme dans au moins une application indienne fintech, ce qui réduit les scores de ceux qui sont engagés dans des activités politiques). Que se passe-t-il quand la fintech permet une forme de « dette perpétuelle » ? Kevin P. Donovan et Emma Park ont observé exactement ce problème au Kenya :

Malgré leur petite taille, les prêts ont un coût élevé, parfois jusqu’à 100 % annualisé. Comme nous l’a dit un Nairobien, ces applications « vous donnent de l’argent doucement, et puis elles montent ) votre cou. » Il n’est pas le seul dans son évaluation de « fintech », l’industrie en plein essor de la technologie financière qui offre des prêts par le biais d’applications mobiles. Au cours de nos recherches, nous avons entendu parler de ces régimes d’endettement émergents appelés « catastrophiques« , une « crise » et un « problème social » majeur. Les journaux rapportent que le prêt mobile est à l’origine d’une vague de désarroi domestique, de violence et même de suicide.

Comme Abbye Atkinson l’a soutenu, nous devons reconsidérer la portée appropriée du « crédit en tant que prestation sociale« . Parfois, il offre simplement l’optimisme cruel d’un mirage d’Horatio Alger (ou, pire, la cruauté optimiste qui est la marque psycho-politique du capitalisme tardif). De même que les logiques économiques peuvent rapidement devenir des rationalisations, l’enthousiasme à l’égard de la souscription « pilotée par l’IA » est susceptible d’occulter des dynamiques troublantes dans la finance. En effet, l’économie dominante et l’intelligence artificielle pourraient conférer une patine de légitimité aux systèmes sociaux brisés, s’ils ne sont pas remis en question.

À l’heure actuelle, la première et la deuxième vagues de responsabilisation algorithmique sont largement complémentaires. Tout d’abord, les hésitants ont identifié et corrigé des problèmes évidents en matière d’IA et ont sensibilisé le public à ses préjugés et à ses limites. La deuxième vague a contribué à ralentir suffisamment le déploiement de l’IA et de la robotique pour que les premières vagues aient plus de temps et d’espace pour déployer des réformes constructives. Il pourrait bien y avoir des affrontements à l’avenir entre ceux qui veulent réparer, et ceux qui sont au moins ouverts à mettre fin ou à limiter, l’évaluation informatique des personnes. Par exemple, ceux qui se sont engagés à réduire les taux d’erreur des systèmes de reconnaissance faciale pour les minorités peuvent vouloir ajouter d’autres visages de minorités à ces bases de données, tandis que ceux qui trouvent la reconnaissance faciale oppressive résisteront à cette  » réforme  » comme une nouvelle forme d’inclusion prédatrice. Mais pour l’instant, les deux vagues de responsabilité algorithmique me semblent avoir un objectif commun : rendre les systèmes sociotechniques plus réceptifs aux communautés marginalisées.

Frank Pasquale est professeur de droit à l’Université du Maryland Francis King Carey School of Law.

Via lpeblog

1 commentaire sur “La deuxième vague de responsabilisation algorithmique”

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.