C’est une chose lorsque les entreprises utilisent des algorithmes pour personnaliser des publicités pour des chaussures ou pour vous étiqueter sur une photo Facebook – c’en est une autre lorsque les algorithmes doivent décider de vous libérer sous caution ou de vous envoyer en prison. Bien que de nombreuses personnes aient exprimé des préoccupations au sujet de l’utilisation d’algorithmes pour éclairer de telles décisions à enjeux élevés, peu d’entre elles ont discuté de la façon dont nous pouvons déterminer si elles peuvent réellement être utilisées de façon sécuritaire et efficace.

En tant que professionnels des technologies de la santé, Quartz pense qu’il est utile de considérer ces algorithmes à enjeux élevés comme des médicaments sur ordonnance ou des dispositifs médicaux. Pendant des décennies, les entreprises pharmaceutiques et biotechnologiques ont testé des médicaments au moyen d’essais cliniques minutieusement affinés. Pourquoi ne pas prendre certaines de ces meilleures pratiques et les utiliser pour créer des algorithmes qui sont plus sûrs, plus efficaces et encore plus éthiques ?

Les algorithmes sont comme les médicaments

Les algorithmes et les médicaments peuvent avoir un impact énorme sur les vies humaines – l’astuce consiste à équilibrer les avantages et les risques. Les médicaments de chimiothérapie, par exemple, peuvent réduire la tumeur d’un patient, mais ils peuvent aussi causer des effets secondaires pénibles. Les algorithmes sont à peu près les mêmes. Un algorithme utilisé dans les services de protection de l’enfance pour prédire la mise en danger peut sauver quelqu’un de la violence, mais un examen mal prescrit pourrait être inutilement intrusif pour les familles.

Mais contrairement aux médicaments à risque et aux procédures médicales, nous interagissons avec des algorithmes sans lire les étiquettes d’avertissement, parce qu’il n’y en a pas. Un oncologue ne recommanderait probablement jamais des médicaments de chimiothérapie invasive à une personne en bonne santé ; c’est seulement en traitant un cancer agressif que nous considérons les risques et les retours. Lorsqu’ils envisagent des applications de technologies à enjeux élevés, les architectes des systèmes d’IA pourraient adopter une approche similaire qui tient compte à la fois des risques et des avantages potentiels.

Comme les algorithmes et les médicaments ont des points communs, nous pouvons nous inspirer des paradigmes de réglementation existants et efficaces en matière de soins de santé pour réfléchir aux algorithmes. Voici quelques-unes de leurs similitudes.

Ils affectent des vies. Tout comme les médicaments et les dispositifs, les algorithmes à enjeux élevés ont le potentiel de transformer le monde d’un utilisateur de manière significative. Des algorithmes ont déjà été mis au point pour formuler des recommandations sur la libération sous caution des accusés, pour déterminer les prestations de soins de santé et pour évaluer les enseignants.

Ils peuvent être utilisés comme traitement médical. Il existe un tout nouveau domaine de traitements pilotés par logiciel appelé thérapie numérique (DTx), qui sont des programmes logiciels qui préviennent, gèrent ou traitent une maladie. Par exemple, Akili Interactive Labs a créé un DTx qui ressemble à un jeu vidéo pour traiter le TDAH pédiatrique. Certains ont même été homologués par la Food and Drug Administration (FDA) des États-Unis, comme le reSET-O, un produit de Pear Therapeutics destiné aux patients atteints de troubles liés à l’utilisation des opioïdes.

Leur rendement diffère selon les populations. Certains médicaments agissent sur une population mais pas sur une autre. Par exemple, l’anticoagulant clopidogrel, ou Plavix, ne fonctionne pas chez 75 % des habitants des îles du Pacifique dont l’organisme ne produit pas l’enzyme nécessaire pour activer le médicament. De même, les algorithmes peuvent affecter différemment différentes populations en raison du biais algorithmique. Par exemple, la plateforme de recrutement d’Amazon axée sur l’intelligence artificielle avait un parti pris systématique contre les mots féminins dans les curriculum vitae.

Les chercheurs ont réagi à ces résultats en élaborant des stratégies pour détecter et réduire les biais algorithmiques. Des entreprises comme Propublica ont étudié des algorithmes problématiques, tandis que les informaticiens ont créé des conférences universitaires et des centres de recherche axés sur le sujet. Ces initiatives représentent des pas dans la bonne direction, tout comme l’élan croissant en faveur d’essais cliniques plus représentatifs est susceptible de mener à une meilleure recherche médicale.

Ils peuvent avoir des effets secondaires. Tout comme un médicament qui cible une affection peut avoir des effets secondaires dans un autre système, les algorithmes peuvent aussi avoir des effets non voulus. Dans la guerre de l’attention en ligne, un site Web qui vise à accroître l’engagement peut constater rétrospectivement que ses algorithmes d’apprentissage machine ont appris à optimiser le contenu qui suscite la colère et la peur afin d’augmenter le temps passé sur le site. Dans le but de rendre le produit collant, l’effet secondaire est un changement de comportement indésirable dans sa population d’utilisateurs.

Ce que nous pouvons apprendre du développement de médicaments pour construire de meilleurs algorithmes

Dans le cadre du développement de médicaments, les fabricants sont tenus de prouver l’innocuité et l’efficacité des médicaments avant qu’ils ne soient mis sur le marché. Mais bien que la FDA ait créé et applique de tels protocoles, les algorithmes restent largement non réglementés.

Quelques principes directeurs aident à illustrer comment les outils issus du développement de médicaments pourraient être utilisés pour construire des algorithmes plus sûrs et plus efficaces :

Traitement des « événements indésirables ». La prise de médicaments sur ordonnance comporte des risques de blessures, d’hospitalisation et d’autres événements indésirables, comme les appelle l’industrie. La FDA dispose d’une structure bien documentée de rapports publics pour le traitement de tels incidents, où les rapports d’événements graves comme les décès et les hospitalisations sont volontairement enregistrés dans une base de données publique.

Mais que faire lorsque l' »entrée » médicale est un algorithme ? Nous manquons actuellement d’outils de reporting public solides pour gérer les résultats défavorables des algorithmes – comme la crise de Cambridge Analytica sur Facebook – mais des bases de données publiques pourraient être créées pour les cas d’utilisation courante.

Connaître le fonctionnement du produit. Avant de mettre un médicament sur le marché, le fabricant doit comprendre l’interaction biochimique entre l’organisme et le médicament. Mais cela n’a jamais été le cas pour les algorithmes. En raison de ce que l’on appelle l’effet « boîte noire », de nombreux algorithmes d’apprentissage machine sont difficiles, voire impossibles à interpréter. Il faut le reconnaître et y remédier dans la mesure du possible. Lorsque nous comprenons comment les intrants sont transformés en extrants, il est plus facile de comprendre les risques potentiels si le système fonctionne mal.

Comprendre à qui s’adresse le produit. Les chercheurs cliniques doivent définir clairement les utilisateurs cibles d’un médicament afin que le clinicien prescripteur puisse avoir l’assurance que le médicament a été testé avec succès sur des patients similaires. De même, des algorithmes bien conçus devraient définir les caractéristiques de la population dans laquelle ils sont destinés à être utilisés. Étant donné que les algorithmes peuvent fonctionner différemment sur des populations pour lesquelles l’algorithme n’a pas été développé, il est essentiel de s’assurer que les algorithmes précisent et documentent les populations et les cas d’utilisation auxquels ils s’appliquent. Cela permet de s’assurer que les risques et les avantages pour le groupe cible ont été suffisamment étudiés et considérés comme un compromis acceptable.

Comprendre comment le produit a été développé. Les essais cliniques s’appuient sur les registres d’essais publics et les rapports obligatoires des promoteurs pour assurer la transparence. Un tel système tient les concepteurs de produits responsables de la réalisation d’études éthiques et de la publication de leurs résultats. Cependant, les algorithmes à enjeux élevés d’aujourd’hui ne partagent souvent pas publiquement leurs méthodes de validation ; parce que les entreprises sont si protectrices de leur IP algorithmique, il est souvent difficile de savoir comment un produit a été testé ou si les résultats sont reproductibles. Mais comprendre comment les produits sont développés peut aider à clarifier et à atténuer les résultats non voulus.

Informer les utilisateurs des risques et des avantages. Le Rapport Belmont, rédigé en 1979, énonce les principes éthiques fondamentaux qui régissent la participation de sujets humains à la recherche médicale, comme le « consentement éclairé« . Mais à quel point êtes-vous au courant des expériences subtiles qui vous sont administrées en ligne ? On pourrait soutenir que l’A/B testing de Facebook met à l’essai de nouveaux éléments de conception sur son fil de nouvelles pour déterminer ce qu’il faut mettre en œuvre est une forme de recherche sur des sujets humains non consentants.

La version du monde de la technologie du consentement éclairé est la politique de confidentialité et les conditions de service qui accompagnent de nombreuses applications et sites Web. Mais ceux-ci sont rarement lus par les utilisateurs, ce qui incite certains chercheurs à les qualifier de « plus gros mensonge sur Internet ». Lorsque les enjeux sont importants, il est particulièrement important que ces accords soient non seulement lisibles, mais lus par les utilisateurs. Afin de remédier au manque de transparence des données, l’Union européenne a créé le Règlement général sur la protection des données (RGPD), l’une des règles de protection des données les plus strictes au monde, qui est entré en vigueur en mai 2018 dans le but de donner à l’individu plus de pouvoir sur ses données. Dans le cadre du GDPR, les entreprises assument une plus grande responsabilité en matière de protection des données et une responsabilité claire d’obtenir le consentement des personnes auprès desquelles elles recueillent des informations. Les particuliers peuvent désormais demander des informations complètes sur les données qu’une entreprise a stockées sur eux.

Protection des droits des données et de la vie privée. Dans le domaine des soins de santé, les patients et les cliniciens ont des droits et des règles de gouvernance clairs pour les prélèvements biologiques comme le sang, l’urine et les génomes ; les chercheurs ne peuvent pas utiliser ces prélèvements pour des recherches autres que les études et procédures auxquelles le patient a consenti. Mais il n’existe pas d’équivalent pour les « spécimens numériques », qui contiennent souvent des données individuelles très sensibles. Pour la plupart des produits technologiques, les droits sur les données et la gouvernance ne sont pas clairs pour les utilisateurs, et les algorithmes à enjeux élevés exigent plus qu’une approche universelle. Les droits sur les données doivent être intégrés dans le produit lui-même et ne doivent pas faire l’objet d’un accord aveugle et précipité pour compléter un processus d’inscription.

Création de normes et de gouvernance pour les algorithmes

Les normes internationales de qualité et d’éthique ont été bien adoptées par les industries médicales depuis des décennies : Il y a les Bonnes Pratiques Cliniques (BPC) pour gérer les essais cliniques, les Bonnes Pratiques de Fabrication (BPF) pour les produits et les Bonnes Pratiques de Laboratoire (BPL) pour assurer la cohérence et la fiabilité des laboratoires de recherche.

Le moment est-il venu d’adopter une bonne pratique algorithmique (BPA) ? Devrions-nous établir une FDA pour les algorithmes ?

Plusieurs obstacles s’opposent au bon fonctionnement de ces structures de gouvernance. En raison de l’omniprésence de l’IA dans toutes les disciplines, un seul organisme de réglementation mondial serait irréaliste ; la surveillance peut et doit être adaptée à chaque domaine d’application.

L’industrie des soins de santé, par exemple, est déjà bien placée pour réglementer les algorithmes dans son domaine. La FDA a commencé à publier du contenu détaillé, à publier des lignes directrices et à autoriser les produits axés sur l’IA comme les produits thérapeutiques numériques. D’autres industries dotées d’organismes de réglementation, comme l’éducation et les finances, pourraient également être chargées d’articuler les pratiques exemplaires au moyen de directives ou même de règlements officiels. Toutefois, de nombreuses autres industries n’ont pas d’organismes de réglementation qui rendent des comptes au public. Dans un contexte non réglementé, les consortiums industriels et les chefs de file de l’industrie devront jouer un rôle important dans l’élaboration des pratiques exemplaires.

La société cherche des moyens de mettre au point des algorithmes sûrs et efficaces dans des contextes à enjeux élevés. Bien que de nombreuses questions demeurent, les concepts et les outils de la recherche clinique peuvent servir de point de départ à la réflexion.

Quartz

Quartz Ideas,

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.