Un débat entre experts de l’IA montre une bataille sur l’avenir de la technologie

Le domaine n’est pas d’accord sur la direction à prendre et sur les raisons de cette décision.

Depuis les années 1950, l’intelligence artificielle a constamment fait l’objet de promesses excessives et de promesses insuffisantes. Si ces dernières années ont vu des bonds incroyables grâce à un apprentissage approfondi, l’IA est aujourd’hui encore étroite : elle est fragile face aux attaques, ne peut pas généraliser pour s’adapter à des environnements changeants et est criblée de biais. Tous ces défis rendent la technologie difficile à faire confiance et limitent son potentiel à bénéficier à la société.

Le 26 mars, lors de l’événement annuel EmTech Digital du MIT Technology Review, deux personnalités de l’IA ont pris place sur la scène virtuelle pour débattre de la manière dont le domaine pourrait surmonter ces problèmes.

Gary Marcus, professeur émérite à l’Université de New York et fondateur et directeur général de Robust.AI, est un critique bien connu de l’apprentissage profond. Dans son livre Rebooting AI, publié l’année dernière, il soutient que les lacunes de l’IA sont inhérentes à la technique. Les chercheurs doivent donc aller au-delà de l’apprentissage approfondi et le combiner avec des systèmes d’IA classiques ou symboliques qui encodent les connaissances et sont capables de raisonner.

Rebooting AI, sur Amazon.

Danny Lange, le vice-président de l’IA et de l’apprentissage machine chez Unity, se situe dans le camp de l’apprentissage profond. Il a bâti sa carrière sur les promesses et le potentiel de cette technique, ayant été directeur de l’apprentissage machine chez Uber, directeur général d’Amazon Machine Learning, et chef de produit chez Microsoft spécialisé dans l’apprentissage machine à grande échelle. Chez Unity, il aide maintenant des laboratoires comme DeepMind et OpenAI à construire des environnements de formation virtuels qui enseignent à leurs algorithmes le sens du monde.

Au cours de l’événement, chaque intervenant a fait une courte présentation, puis s’est assis pour une discussion en groupe. Les désaccords qu’ils ont exprimés reflètent bon nombre des affrontements qui ont eu lieu dans ce domaine, soulignant la puissance avec laquelle la technologie a été façonnée par une bataille d’idées persistante et le manque de certitude quant à son avenir.

Ci-dessous, leur panel de discussion a été condensé et légèrement édité pour plus de clarté.

Gary, vous vous servez de votre expertise en neurosciences et en psychologie pour déterminer ce qui manque actuellement à l’IA. Selon vous, qu’est-ce qui fait de l’IA classique le système idéal pour combiner l’apprentissage profond ?

Gary Marcus : La première chose que je dirai, c’est que nous pourrions avoir besoin d’hybrides plus complexes que le simple apprentissage en profondeur et l’IA classique. Il nous faut au moins cela. Mais il y a peut-être tout un tas de choses dont nous n’avons même pas encore rêvé. Nous devons avoir l’esprit ouvert.

Pourquoi ajouter l’IA classique au mélange ? Eh bien, nous faisons toutes sortes de raisonnements basés sur notre connaissance du monde. L’apprentissage profond ne représente pas cela. Il n’y a pas moyen dans ces systèmes de représenter ce qu’est une balle ou une bouteille et ce que ces choses se font les unes aux autres. Les résultats sont donc très beaux, mais ils ne sont généralement pas très généralisables.

L’IA classique, c’est sa timonerie. Elle peut, par exemple, analyser une phrase en fonction de sa représentation sémantique, ou avoir des connaissances sur ce qui se passe dans le monde et faire des déductions à ce sujet. Elle a ses propres problèmes : elle n’est généralement pas suffisamment couverte, parce qu’une trop grande partie est écrite à la main, etc. Mais au moins en principe, c’est la seule façon que nous connaissons de créer des systèmes qui peuvent faire des choses comme l’inférence logique et l’inférence inductive sur des connaissances abstraites. Cela ne signifie pas encore que c’est absolument juste, mais c’est de loin le meilleur que nous ayons.

Et puis il y a beaucoup de preuves psychologiques que les gens peuvent faire un certain niveau de représentation symbolique. Dans ma vie antérieure, en tant que spécialiste du développement cognitif, j’ai fait des expériences sur des enfants de sept mois et j’ai montré que ces enfants pouvaient généraliser la connaissance symbolique. Donc, si un bébé de sept mois peut le faire, alors pourquoi se tenir les mains dans le dos en essayant de construire une IA sans les mécanismes dont disposent les bébés ?

Avez-vous vu des projets qui ont réussi à combiner l’apprentissage profond et l’IA symbolique de manière prometteuse ?

GM : Dans un article intitulé « La prochaine décennie de l’IA« , j’ai énuméré une vingtaine de projets récents qui tentent de mettre en place des modèles hybrides qui ont un apprentissage profond et une connaissance symbolique. Un exemple que tout le monde connaît est la recherche sur Google. Lorsque vous tapez une requête de recherche, il y a une IA classique qui essaie de désambiguïser les mots. Il s’agit d’essayer de comprendre quand vous parlez de « Paris », si vous parlez de Paris Hilton, Paris, Texas, ou Paris, France, en utilisant le graphique de connaissance de Google. Et ensuite, elle utilise l’apprentissage profond pour faire d’autres choses, par exemple, pour trouver des synonymes en utilisant le modèle BERT. Bien sûr, la recherche sur Google n’est pas l’IA que nous espérons atteindre en fin de compte, mais c’est une preuve assez solide que ce n’est pas un rêve impossible.

Danny, êtes-vous d’accord pour que nous nous penchions sur ces modèles hybrides ?

Danny Lange : Non, je ne suis pas d’accord. Le problème que j’ai avec l’IA symbolique est sa tentative d’imiter le cerveau humain dans un sens très profond. Cela me rappelle un peu, vous savez, au 18ème siècle, si vous vouliez un transport plus rapide, vous travailliez à construire un cheval mécanique plutôt qu’à inventer le moteur à combustion. Je suis donc très sceptique quant à l’idée d’essayer de résoudre le problème de l’IA en essayant d’imiter le cerveau humain.

L’apprentissage approfondi n’est pas nécessairement une solution miracle, mais si vous lui fournissez suffisamment de données et que vous disposez de la bonne architecture de réseau neuronal, il est capable d’apprendre des abstractions que nous, en tant qu’humains, ne pouvons pas interpréter, mais cela rend le système très efficace pour résoudre un large éventail de tâches.

Il semble que vous ayez tous les deux un désaccord fondamental sur l’objectif de l’IA.

GM : Je pense qu’il y a une ironie. Lorsque j’ai eu un débat avec Yoshua Bengio en décembre, ce dernier a déclaré que le seul engagement de l’apprentissage profond était qu’il soit basé sur le plan neurologique. J’ai donc entendu les deux extrêmes opposés de l’apprentissage profond. C’est un peu étrange, et je ne pense pas que nous devrions prendre ces arguments au sérieux.

Nous devrions plutôt dire : « Les symboles peuvent-ils nous aider ? » Et la réponse est, dans une écrasante majorité, oui. Presque tous les logiciels du monde sont construits sur des symboles. Et puis il faut dire : « Empiriquement, est-ce que l’apprentissage profond fait ce que nous voulons qu’il fasse ? Et le problème jusqu’à présent, c’est qu’il n’y a pas eu de modèle. Vicarious [une start-up de robotique industrielle utilisant l’IA] a fait une grande démonstration d’un système d’apprentissage de jeu Atari que DeepMind a rendu très populaire, où il a appris à jouer à Breakout à un niveau surhumain. Mais ensuite, Vicarious a déplacé la pagaie de quelques pixels et le tout s’est effondré, car le niveau d’apprentissage était beaucoup trop faible. Il n’avait pas le concept d’une pagaie, d’une balle, d’un ensemble de briques. Un algorithme symbolique pour Breakout serait très facilement capable de compenser ces choses.

La raison pour laquelle il faut se pencher sur les humains est qu’il y a certaines choses que les humains font beaucoup mieux que les systèmes d’apprentissage profond. Cela ne signifie pas que les humains seront finalement le bon modèle. Nous voulons des systèmes qui ont certaines propriétés des ordinateurs et d’autres qui ont été empruntées aux gens. Nous ne voulons pas que nos systèmes d’IA aient une mauvaise mémoire simplement parce que les gens en ont une. Mais puisque les gens sont le seul modèle de système capable de développer une compréhension approfondie de quelque chose – littéralement le seul modèle que nous ayons – nous devons prendre ce modèle au sérieux.

DL : Oui, donc l’exemple des langages de programmation du monde est basé sur le symbolisme, c’est vrai parce qu’ils sont conçus pour que les humains puissent mettre en œuvre leurs idées et leurs pensées.

L’apprentissage profond n’est pas une réplique du cerveau humain. On peut peut-être dire qu’il est inspiré par le monde neuronal, mais c’est un logiciel. Nous ne sommes pas encore allés très loin dans l’apprentissage profond. Nous avons eu une quantité limitée de données sur l’apprentissage jusqu’à présent. Nous avons eu des structures limitées avec une puissance de calcul limitée. Mais le point essentiel est que l’apprentissage approfondi permet d’apprendre le concept, il permet d’apprendre les fonctionnalités. Ce n’est pas une chose faite par l’homme. Je pense que la grande différence entre l’approche de Gary et la mienne est de savoir si les ingénieurs humains donnent de l’intelligence au système ou si le système apprend l’intelligence lui-même.

Danny, vous avez mentionné que nous n’avons pas vraiment vu tout le potentiel de l’apprentissage profond à cause des limites des données et des calculs. Ne devrions-nous pas développer de nouvelles techniques, étant donné que l’apprentissage profond est si inefficace ? Nous avons dû augmenter considérablement les capacités de calcul afin de débloquer de nouvelles capacités d’apprentissage approfondi.

DL : L’un des problèmes de l’apprentissage approfondi est qu’il a été jusqu’à présent basé sur une sorte d’approche classique : vous générez un grand ensemble de données de formation et vous l’alimentez ensuite. Une chose qui pourrait vraiment améliorer l’apprentissage approfondi est d’avoir un processus d’apprentissage actif où le réseau est formé pour optimiser les données de formation. Il n’est pas nécessaire de se contenter d’introduire une quantité de données dérisoires pour améliorer le processus d’apprentissage. Vous pouvez constamment adapter vos données de formation pour cibler un domaine spécifique.

Gary, vous soulignez les vulnérabilités de l’apprentissage profond aux préjugés et aux attaques contradictoires. Danny, vous avez mentionné que les données synthétiques sont une solution à ce problème car « il n’y a pas de biais », et vous pouvez effectuer des millions de simulations qui éliminent vraisemblablement les vulnérabilités contradictoires. Quelles sont vos réponses à cela ?

GM : Les données seules ne sont pas encore une solution. Les données synthétiques ne vont pas aider pour des choses comme les biais dans les prêts ou les préjugés dans les entretiens d’embauche. Le vrai problème est que ces systèmes ont tendance à perpétuer des préjugés qui existaient pour des raisons historiques. Il n’est pas évident que les données de synthèse soient la solution, par opposition à la construction de systèmes suffisamment sophistiqués pour comprendre les préjugés culturels que nous essayons de remplacer.

Les attaques antagonistes sont d’un autre ordre. Les données peuvent être utiles pour certaines d’entre elles, mais jusqu’à présent, nous n’avons pas vraiment éliminé les nombreux types d’attaques antagonistes. Je vous ai montré la balle de baseball avec de la mousse dessus, décrite comme un espresso. Si quelqu’un pense à l’avance à faire des balles de baseball avec de l’espresso en simulation et à les étiqueter avec soin, très bien. Il y aura toujours des cas auxquels personne n’a pensé. Un système purement basé sur des données va continuer à être vulnérable.

DL : Les données du monde réel sont très biaisées, quoi que vous fassiez. Vous collectez des données dans un certain environnement, par exemple pour les véhicules qui se conduisent seuls, et vous avez une représentation de peut-être 90% d’adultes et 10% d’enfants dans les rues. C’est la distribution normale. Mais un système d’apprentissage par machine doit former un nombre égal d’adultes et d’enfants pour éviter de heurter l’un ou l’autre. Ainsi, avec des données synthétiques, vous êtes en mesure d’équilibrer et d’éviter les biais si vous faites attention. Cela ne signifie pas que vous ne pouvez pas créer de nouveaux biais. Il faut y faire attention. Vous résolvez certainement les problèmes de protection de la vie privée, car il n’y a pas de vrais humains ou de vrais enfants dans vos données d’entraînement.

Quant aux exemples contradictoires, le problème avec beaucoup d’entre eux est qu’ils sont essentiellement développés sur la base de modèles de vision artificielle faibles – des modèles qui ont été formés sur 10 ou 20 millions d’images, par exemple, d’ImageNet. C’est loin d’être suffisant pour généraliser un modèle. Nous avons besoin de grandes quantités de données avec des quantités incroyables de randomisation de domaines pour généraliser ces modèles de vision par ordinateur afin qu’ils ne soient pas dupés.

Quelle est la chose qui vous enthousiasme le plus pour l’avenir de l’IA ?

GM : Il y a eu un véritable mouvement vers les modèles hybrides l’année dernière. Les gens explorent de nouvelles choses qu’ils n’avaient pas auparavant, et c’est passionnant.

DL : Je pense qu’il s’agit vraiment de systèmes multi-modèles qui ont été composés de nombreux modèles différents de perception et de comportement pour résoudre ensemble des tâches vraiment complexes.

Via Techreview

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.