Pour que la promesse de l’IA soit pleinement réalisée, les humains doivent faire confiance à la machine.

Imaginez que vous allez chez votre médecin pour apprendre que vous avez un cancer. Vous êtes assis devant son bureau, et il passe au peigne fin quelques scans que vous avez fait la semaine précédente. Enfin, il soulève une feuille de papier, la regarde, puis se lève et dit: »C’est positif. Je suis désolé. »Vous lui demandez comment il peut en être si sûr. Vous vous dites: il y a peut-être eu une erreur. Mais au lieu que le médecin offre une explication ou une explication rationnelle, avec n’importe quel résumé des preuves qu’il a recueillies, il dit simplement: » Faites-moi simplement confiance. C’est un cancer. »

Feriez-vous confiance au diagnostic de ce médecin? Bien sûr que non.

Cet exemple est purement imaginaire, mais il s’attaque à un problème qui se profile à l’horizon. De plus en plus, l‘intelligence artificielle s’avère être aussi bonne, voire meilleure que l’être humain dans une gamme de tâches, allant de la lecture des mammographies à la décision de contracter une hypothèque. Nous sommes sur la bonne voie pour former de nouveaux types de partenariats, dans lesquels les humains doivent faire confiance aux recommandations des machines. Mais à moins que ces machines ne soient capables d’expliquer pourquoi leurs recommandations sont les bonnes, nous ne leur ferons pas confiance.

Nous entendons tout le temps parler de l’énorme promesse de l’IA: tout, du triage des données pour trouver de nouveaux médicaments à la possibilité de diagnostiquer le cancer sur simple pression d’un bouton. Mais il ne suffit pas qu’une machine puisse nous aider à faire mieux dans notre travail. Pour que nous acceptions les conseils d’une machine, nous devons lui faire confiance. Sans cette confiance, la promesse de l’AI ne pourra jamais se réaliser. Ce n’est pas un défi pour les informaticiens qui construisent ces algorithmes. C’est un défi pour les concepteurs, les chercheurs en design et les psychologues cognitifs qui construisent les façons dont nous interagissons avec l’IA. En fait, rendre l’IA compréhensible peut être le plus grand défi dans la conception de l’IA.

PAS SEULEMENT UNE BOÎTE NOIRE
Si vous avez lu quelque chose au sujet de l’IA, vous avez peut-être lu quelque chose au sujet du « problème de la boîte noire », couvert en détail récemment. Il est mentionné le plus souvent dans le contexte des réseaux neuronaux profonds (DNN) – le genre d’algorithmes d’apprentissage machine qui sont utilisés pour la reconnaissance d’images, le traitement du langage naturel et bien d’autres tâches qui impliquent à la fois des ensembles de données massifs et des concepts flous et difficiles à définir, comme l’essence d’un mot ou les caractéristiques qui définissent un chat. Avec ces ensembles massifs de données, et la quantité massive de corrélations qu’un réseau profond-neuronal utilise pour parvenir à une conclusion précise unique, il peut être extrêmement difficile de savoir comment un DNN a fait ce qu’il a fait. Par conséquent, leurs rouages intérieurs semblent enfermés dans une boîte noire dans laquelle nous ne pouvons pas regarder.

La boîte noire telle que décrite avec les DNN n’est qu’une des saveurs de l’impénétrabilité de l’AI. Parfois, comme dans le cas des DNN, il se peut qu’une machine ait fait des inférences si infimes qu’il soit impossible de trouver un seul « pourquoi ». D’autres fois, il se peut tout simplement qu’un ensemble de données cache ses propres préjugés inhérents. Par exemple, si vous avez formé une IA pour réduire les données sur les libérations conditionnelles, elle pourrait « surpasser » un humain dans la prévision des taux de récidive. Mais elle recréerait aussi presque certainement les préjugés raciaux inhérents à la façon dont les tribunaux offrent aujourd’hui la libération conditionnelle. Cette question de parti pris profondément enracinée est devenue la préoccupation centrale des chercheurs, comme Kate Crawford, qui réclament une éthique de l’IA à l’échelle de l’industrie.

Dans d’autres cas, l’opacité des techniques d’apprentissage automatique peut simplement être due au fait que les méthodes statistiques par lesquelles les algorithmes parviennent à des conclusions ne sont pas facilement compréhensibles par les gens, étant donné la façon dont les humains traitent mal les statistiques. « Imaginez qu’une machine vous dit que la raison pour laquelle elle en est arrivée à la conclusion de quelque chose vient qu’elle a combiné 10 observations qui étaient présentes, alors que 10 autres étaient absentes, pour une certitude de 80%. C’est considéré comme une excellente explication », déclare Eric Horovitz, directeur général de Microsoft Research et leader de longue date dans la communauté de l’IA. Pas sûr que ce soit vraiment une bonne explication…
En d’autres termes, ce qui compte comme une bonne explication pour les experts qui inventent un système pourrait ne pas suffire pour les utilisateurs de ce système, qui ne connaissent pas tous ses tenants et aboutissants. Horvitz souligne que pour créer des machines qui peuvent vraiment s’expliquer, il faudra mieux comprendre ce que les humains considèrent comme une bonne explication. C’est un sujet brûlant de recherche dans quelques universités, dont l’Université de l’Oregon et Carnegie Mellon. Mais c’est aussi un problème auquel les non-universitaires sont confrontés lorsqu’ils inventent des logiciels qui rendent l’intelligence artificielle conviviale.

LES USAGES DU MYSTÈRE
Le terme « boîte noire« , utilisé pour désigner une technologie mystérieuse et fermée, provient probablement des pilotes de la Royal Air Force britannique de la Seconde Guerre mondiale. Les premiers instruments radar d’avion ont été installés dans des boîtes peintes en noir pour prévenir les interférences de la lumière; elles ont permis aux pilotes de viser et lâcher des bombes dans les nuages. Les nouveaux radars étaient comme de la magie pour les pilotes qui, autrefois, n’avaient été guidés que par leurs sens et peu de jauges.

Arthur C. Clark était un opérateur radar de la RAF pendant la Seconde Guerre mondiale. Vingt ans plus tard, il écrira le scénario de l’année 2001 de Stanley Kubrick, dans lequel un obélisque noir sans motif ni origine apporte la fabrication d’outils aux ancêtres de l’humanité. L’humanité finit par faire de ces talents l’outil ultime, une intelligence artificielle. En plus de faire de la boîte noire une image durable dans l’imaginaire populaire, 2001 a aussi articulé quelque chose d’essentiel sur la marche de la technologie. Nous sommes attirés par les boîtes noires, par la promesse d’être impressionnés par la grandeur des choses. Elles sont des oracles en s’appuyant sur la technologie. Aujourd’hui encore, le plus grand compliment que nous faisons à la technologie, c’est qu’elle « fonctionne comme de la magie ». Les choses que nous ne comprenons pas risquent de nous décevoir ou de nous terrifier. Même si les boîtes noires nous attirent, le mystère n’est pas si séduisant en pratique. Peut-être qu’aucune autre entreprise n’est confrontée à un équilibre aussi délicat qu’IBM.

Plus que toute autre entreprise, IBM a défini l’imaginaire commun sur l’IA, à travers sa campagne Watson de plusieurs milliards de dollars. Dans des douzaines de publicités, Watson étonne tout le monde, des médecins aux golfeurs professionnels, avec une perspicacité stupéfiante, tout en n’offrant aucune explication autre qu’un logo clignotant. Watson est une boîte noire comme marque. Cette promesse de capacités semblables à celles de l’homme sous la forme d’un obélisque a suscité la colère chez certains, qui prétendent que Watson fait du marketing auprès de l’imagination des gens au sujet de l’IA plutôt que de montrer ce qu’il peut réellement faire.

En réalité, Watson est à la fois plus humble et plus puissant que vous ne l’imaginez – il ne s’agit pas d’un seul produit, mais de nombreux autres, conçus pour différentes industries. Watson Oncologie peut être le produit phare de l’entreprise. Il s’agit d’une simple application web qui ne ressemble à rien de plus qu’une simple base de données collaborative. Ce qui, d’une certaine façon, est le cas. Pour 10 types de cancer différents, les médecins peuvent entrer un certain nombre d’attributs du patient, puis Watson crache des recommandations de traitement, regroupées de « Recommandé » à « Non recommandé » Ces recommandations ont été formées à partir d’un ensemble de données créées par une équipe de cancérologues au Memorial Sloan Kettering. L’oncologie de Watson représente la sagesse cumulative de certains des plus grands médecins du monde. Pour développer Watson Oncologie, IBM fait des recherches constantes de conception, couvrant chaque nouvelle fonctionnalité ou amélioration. Récemment, une séance de ce genre a eu lieu, au cours de laquelle l’équipe de conception vérifiait qu’une interface rafraîchie avait un sens intuitif pour les nouveaux utilisateurs.

La femme qui menait la séance a demandé à un médecin qui n’avait jamais utilisé Watson auparavant d’expliquer ce que chaque partie de l’interface faisait et comment elle devait se comporter. Puis, alors que la séance tirait à sa fin, elle a demandé: »Si Watson était un collègue, comment le décririez-vous? Des questions qui explorent les métaphores sous-jacentes sont courantes dans la recherche en design. La pensée va, la bonne métaphore peut éclairer à quel point les gens pensent qu’un produit est – et, peut-être, ce qu’il devrait devenir. En décrivant IBM Watson, ses inventeurs se sont efforcés de l’appeler comme un collègue érudit ou un conseiller de confiance. C’est ce que les chercheurs espéraient entendre, c’est-à-dire que le produit exprimait bien son propre pouvoir. Mais ce docteur, quand on lui a posé la question, ne mord pas. Il a illustré cela par le fait que l’art de cuisiner consiste à laisser la recette derrière soi.

« C’était un peu dégonflé « , a admis Lillian Coryn, directrice principale du design chez Watson. Un médecin avait rétrogradé Watson d’une seconde opinion intelligente à une série d’instructions. Si le médecin voyait Watson en des termes aussi banals, il était difficile de l’imaginer devenir un utilisateur dévoué. J’ai constaté des variations de ce problème dans les rapports sur l’IA: des systèmes pour faire des recommandations sur les libérations conditionnelles, par exemple, qui disaient surtout aux gens ce qu’ils croyaient savoir déjà, et qui ne semblaient donc pas être d’une utilité évidente pour les humains, même lorsqu’ils surpassaient leurs performances. Les humains, semble-t-il, ont besoin qu’on leur vende les avantages – alors que les avantages eux-mêmes doivent être ajustés pour qu’ils soient juste assez séduisants pour éveiller la curiosité.

Ne faudrait-il pas peut-être ajuster la conception pour mieux montrer ce que Watson peut faire qu’aucun médecin ne pourrait faire. Peut-être l’ordinateur pourrait-il être conçu pour montrer combien de milliers d’études il a rassemblé pour arriver à ses recommandations? Le problème le plus profond semble être de fabriquer l’ordinateur de telle sorte que l’humain est naturellement attiré par lui.

Laisser un commentaire