Les machines battent les humains lors d’un test de lecture. Mais comprennent-elles ?

Un outil connu sous le nom de BERT peut maintenant battre les humains aux tests avancés de compréhension de la lecture. Mais ça a aussi révélé jusqu’où l’IA doit aller.

À l’automne 2017, Sam Bowman, linguiste informaticien à l’Université de New York, s’est rendu compte que les ordinateurs ne comprenaient toujours pas très bien l’écrit. Bien sûr, ils avaient appris à simuler cette compréhension dans certains domaines étroits, comme la traduction automatique ou l’analyse des sentiments (par exemple, déterminer si une phrase semble « méchante ou agréable », a-t-il dit). Mais Bowman voulait des preuves mesurables de l’authenticité de l’article : une bonne compréhension de la lecture en anglais à la manière d’un humain. Alors il a trouvé un test.

Dans un article publié en avril 2018 et rédigé en collaboration avec des collaborateurs de l’Université de Washington et de DeepMind, la société d’intelligence artificielle appartenant à Google, Bowman a présenté une batterie de 9 tâches de compréhension de lecture pour ordinateurs appelée GLUE (General Language Understanding Evaluation). Le test a été conçu comme  » un échantillon assez représentatif de ce que le milieu de la recherche considérait comme des défis intéressants « , a déclaré M. Bowman, mais aussi  » assez simple pour les humains « . Par exemple, une tâche demande si une phrase est vraie sur la base des informations fournies dans une phrase précédente. Si vous pouvez dire que « le Président Trump a atterri en Irak pour le début d’une visite de sept jours » implique que « le Président Trump est en visite à l’étranger », vous venez de passer.

Les machines ont fait de leur mieux. Même les réseaux neuronaux à la fine pointe de la technologie n’ont pas obtenu une note supérieure à 69 % pour l’ensemble des neuf tâches : un D-plus, en termes de qualité lettre. Bowman et ses co-auteurs n’ont pas été surpris. Les réseaux neuronaux – des couches de connexions informatiques construites à partir d’une approximation grossière de la façon dont les neurones communiquent dans le cerveau des mammifères – s’étaient révélés prometteurs dans le domaine du « traitement du langage naturel » (NLP), mais les chercheurs n’étaient pas convaincus que ces systèmes apprenaient quelque chose de substantiel sur le langage même. Et GLUE semblait le prouver. « Ces premiers résultats indiquent que la résolution du problème de GLUE dépasse les capacités des modèles et méthodes actuels « , ont écrit Bowman et ses co-auteurs.

Nous savons que nous sommes quelque part dans la zone grise entre la résolution du langage dans un sens très ennuyeux et étroit et la résolution de l’IA. Sam Bowman

Leur évaluation serait de courte durée. En octobre 2018, Google a introduit une nouvelle méthode surnommée BERT (Bidirectional Encoder Representations from Transformers). Il a produit une note GLUE de 80,5. Sur cette toute nouvelle référence conçue pour mesurer la compréhension réelle du langage naturel par les machines – ou pour mettre en évidence leur manque de compréhension – les machines étaient passées d’un D-plus à un B-moins en seulement six mois.

C’était définitivement le moment « oh, mince », se souvient Bowman, en utilisant une interjection plus colorée. « La réaction générale sur le terrain fut l’incrédulité. BERT obtenait des chiffres sur de nombreuses tâches qui étaient proches de ce que nous pensions être la limite de ce que vous pourriez faire. » En effet, GLUE n’a même pas pris la peine d’inclure les scores humains de base avant BERT ; lorsque Bowman et un de ses doctorants les ont ajoutés à GLUE en février 2019, ils n’ont duré que quelques mois avant qu’un système basé sur BERT de Microsoft ne les dépasse.

Au moment d’écrire ces lignes, presque toutes les positions du classement de la GLUE sont occupées par un système qui incorpore, étend ou optimise l’ORET. Cinq de ces systèmes dépassent les performances humaines.

Mais l’IA commence-t-elle vraiment à comprendre notre langage – ou s’améliore-t-elle en jouant sur nos systèmes ? Alors que les réseaux neuronaux basés sur l’ORET ont pris d’assaut des repères comme GLUE, de nouvelles méthodes d’évaluation sont apparues qui semblent dépeindre ces puissants systèmes de PNL comme des versions informatiques de Clever Hans, le cheval du début du XXe siècle qui semblait assez intelligent pour faire du calcul, mais qui en fait ne faisait que suivre des signaux inconscients de son entraîneur.

« Nous savons que nous sommes quelque part dans la zone grise entre la résolution du langage dans un sens très ennuyeux et étroit et la résolution de l’IA « , a dit M. Bowman. « La réaction générale du terrain a été : Pourquoi cela s’est-il produit ? Qu’est-ce que cela signifie ? Qu’est-ce qu’on fait maintenant ? »

Rédiger leurs propres règles

Dans la célèbre expérience de pensée de la salle chinoise, une personne qui ne parle pas chinois est assise dans une pièce meublée de nombreux livres de règles. Pris dans leur ensemble, ces recueils de règles précisent parfaitement comment prendre n’importe quelle séquence entrante de symboles chinois et élaborer une réponse appropriée. Une personne à l’extérieur glisse des questions écrites en chinois sous la porte. La personne à l’intérieur consulte les livres de règlements, puis renvoie des réponses parfaitement cohérentes en chinois.

L’expérience de la pensée a été utilisée pour argumenter que, peu importe comment elle peut paraître de l’extérieur, la personne à l’intérieur de la pièce ne peut pas être considérée comme ayant une véritable compréhension du chinois. Pourtant, même un simulacre de compréhension a été un objectif assez bon pour le traitement du langage naturel.

Le seul problème, c’est qu’il n’existe pas de manuels de règles parfaits, car le langage naturel est beaucoup trop complexe et désordonné pour être réduit à un ensemble rigide de spécifications. Prenons la syntaxe, par exemple : les règles (et les règles empiriques) qui définissent comment les mots se regroupent en phrases significatives. L’expression « les idées vertes incolores dorment furieusement » a une syntaxe parfaite, mais tout orateur naturel sait que c’est absurde. Quel livre de règles pré-écrit pourrait saisir ce fait « non écrit » sur le langage naturel – ou d’innombrables autres ?

Les chercheurs de la PNL ont tenté de quadriller ce cercle en demandant aux réseaux neuronaux d’écrire leurs propres règles, dans le cadre d’un processus appelé préformation.

Avant 2018, l’un des principaux outils de préformation de la PNL était en quelque sorte un dictionnaire. Connu sous le nom d’incorporation de mots, ce dictionnaire codait les associations entre les mots sous forme de nombres d’une manière que les réseaux neuronaux profonds pouvaient accepter comme intrants – un peu comme si on donnait à la personne se trouvant dans une salle chinoise un livre de vocabulaire rudimentaire pour travailler avec. Mais un réseau neuronal préformé avec des mots intégrés reste aveugle à la signification des mots au niveau de la phrase. Il penserait que  » un homme a mordu le chien  » et  » un chien a mordu l’homme  » sont exactement la même chose « , a déclaré Tal Linzen, linguiste informaticien à l’Université Johns Hopkins.

Tal Linzen, linguiste informaticien à l’Université Johns Hopkins, se demande « dans quelle mesure ces modèles comprennent vraiment le langage », et pas seulement « s’ils détectent des trucs bizarres qui fonctionnent ».

Une meilleure méthode consisterait à utiliser la préformation pour doter le réseau de livres de règles plus riches – non seulement pour le vocabulaire, mais aussi pour la syntaxe et le contexte – avant de l’entraîner à effectuer une tâche spécifique de PNL. Début 2018, des chercheurs d’OpenAI, de l’Université de San Francisco, de l’Allen Institute for Artificial Intelligence et de l’Université de Washington ont simultanément découvert un moyen intelligent d’approcher cet exploit. Au lieu de préformer seulement la première couche d’un réseau avec des mots intégrés, les chercheurs ont commencé à former des réseaux neuronaux entiers sur une tâche de base plus large appelée modélisation du langage.

« Le modèle de langage le plus simple est : Je vais lire un tas de mots et essayer de prédire le mot suivant « , explique Myle Ott, chercheur scientifique sur Facebook. « Si je dis : « George Bush est né dans », le modèle doit maintenant prédire le mot suivant dans cette phrase. »

Ces modèles linguistiques préformé en profondeur pourraient être produits de manière relativement efficace. Les chercheurs ont simplement alimenté leurs réseaux neuronaux avec des quantités massives de texte écrit copié à partir de sources librement accessibles comme Wikipédia – des milliards de mots, préformatés en phrases grammaticalement correctes – et ont laissé les réseaux en tirer leurs propres prédictions des mots suivants. Essentiellement, c’était comme si on demandait à la personne dans une pièce en chinois d’écrire toutes ses propres règles, en utilisant seulement les messages chinois entrants comme référence.

« Ce qu’il y a de bien avec cette approche, c’est que le modèle apprend une tonne de choses sur la syntaxe « , a dit M. Ott.

De plus, ces réseaux neuronaux préformés pourraient ensuite appliquer leurs représentations plus riches du langage à l’apprentissage d’une tâche de PNL plus spécifique et sans rapport, un processus appelé réglage fin.

« Vous pouvez prendre le modèle à l’étape de la préformation et l’adapter à n’importe quelle tâche à laquelle vous vous intéressez « , explique Ott. « Et quand tu fais ça, tu obtiens de bien meilleurs résultats que si tu venais de commencer ta tâche finale. »

En effet, en juin 2018, lorsque OpenAI a dévoilé un réseau neuronal appelé GPT, qui comprenait un modèle de langage préformé sur près d’un milliard de mots (provenant de 11 038 livres numériques) pendant un mois entier, son score GLUE de 72,8 a immédiatement pris la première place dans le classement. Néanmoins, Sam Bowman a supposé que le domaine avait encore un long chemin à parcourir avant qu’un système puisse même commencer à se rapprocher de la performance au niveau humain.

Puis BERT est apparu.

Une recette puissante

Qu’est-ce que BERT exactement ?

Premièrement, il ne s’agit pas d’un réseau neuronal entièrement formé capable de surpasser les performances humaines dès la sortie de l’emballage. Au lieu de cela, dit Bowman, BERT est « une recette très précise pour préformer un réseau neuronal ». Tout comme un boulanger peut suivre une recette pour produire de façon fiable une délicieuse pâte à tarte précuite – qui peut ensuite être utilisée pour faire différentes sortes de tarte, aux myrtilles à la quiche aux épinards – les chercheurs de Google ont développé la recette de BERT pour servir de base idéale aux réseaux neuronaux « de cuisson » (c’est-à-dire pour les régler avec précision) afin de réussir dans de nombreuses tâches différentes du traitement du langage naturel. Google a également ouvert le code de BERT, ce qui signifie que les autres chercheurs n’ont pas à répéter la recette à partir de zéro – ils peuvent simplement télécharger BERT tel quel, comme acheter une pâte à tarte précuite dans un supermarché.

Si BERT est essentiellement une recette, quelle est la liste des ingrédients ? « C’est le résultat de trois choses qui se sont réunies pour vraiment faire fonctionner les choses « , a déclaré Omer Levy, un chercheur scientifique de Facebook qui a analysé le fonctionnement interne de BERT.

Omer Levy, chercheur scientifique sur Facebook, a étudié les raisons du succès de l’ORET.

Le premier est un modèle de langue préformé, ces livres de référence dans notre chambre en chinois. La deuxième est la capacité de déterminer quelles caractéristiques d’une phrase sont les plus importantes.

En 2017, un ingénieur de Google Brain nommé Jakob Uszkoreit travaillait sur les moyens d’accélérer les efforts de Google en matière de compréhension du langage. Il a remarqué que les réseaux neuronaux de pointe souffraient également d’une contrainte intégrée : Ils ont tous regardé dans l’ordre des mots un par un. Cette « séquentialité » semblait correspondre aux intuitions de la façon dont les humains lisent réellement les phrases écrites. Mais M. Uszkoreit s’est demandé si  » il se pourrait que la compréhension du langage de manière linéaire et séquentielle soit sous-optimale « , a-t-il dit.

Uszkoreit et ses collaborateurs ont conçu une nouvelle architecture pour les réseaux de neurones axée sur l' »attention« , un mécanisme qui permet à chaque couche du réseau d’attribuer plus de poids à certaines caractéristiques spécifiques de l’entrée qu’à d’autres. Cette nouvelle architecture centrée sur l’attention, appelée transformateur, pourrait prendre une phrase comme « un chien mord l’homme » comme entrée et coder chaque mot de nombreuses façons différentes en parallèle. Par exemple, un transformateur pourrait relier « morsures » et « homme » ensemble comme verbe et objet, en ignorant « un » ; en même temps, il pourrait relier « morsures » et « chien » ensemble comme verbe et sujet, en ignorant surtout « le ».

La nature non séquentielle du transformateur représentait des phrases sous une forme plus expressive, ce que Uszkoreit appelle l’arbre. Chaque couche du réseau neuronal établit des connexions multiples et parallèles entre certains mots tout en en ignorant d’autres – un peu comme un élève qui dessine une phrase à l’école primaire. Ces liens sont souvent établis entre des mots qui ne se trouvent pas nécessairement les uns à côté des autres dans la phrase. « Ces structures ressemblent en fait à un certain nombre d’arbres qui se chevauchent « , explique M. Uszkoreit.

Cette représentation arborescente des phrases a donné aux transformateurs un moyen puissant de modéliser le sens contextuel, et aussi d’apprendre efficacement les associations entre des mots qui peuvent être éloignés les uns des autres dans des phrases complexes. « C’est un peu contre-intuitif, a dit M. Uszkoreit, mais c’est enraciné dans les résultats de la linguistique, qui s’intéresse depuis longtemps aux modèles de langage arborescents.

Jakob Uszkoreit, qui dirige l’équipe Google AI Brain à Berlin, a contribué au développement d’une nouvelle architecture de réseaux neuronaux axée sur l’attention.

Enfin, le troisième ingrédient de la recette de BERT va encore plus loin dans la lecture non linéaire.

Contrairement à d’autres modèles de langage préformé, dont beaucoup sont créés par des réseaux neuronaux qui lisent des téraoctets de texte de gauche à droite, le modèle de BERT lit simultanément de gauche à droite et de droite à gauche, et apprend à prédire les mots du milieu qui ont été masqués de manière aléatoire de la vue. Par exemple, BERT pourrait accepter comme entrée une phrase comme « George Bush a été (…………..) dans le Connecticut en 1946 » et prédire le mot masqué au milieu de la phrase (dans ce cas, « né ») en interprétant le texte des deux côtés. « Cette bidirectionalité conditionne un réseau neuronal pour essayer d’obtenir autant d’informations que possible à partir de n’importe quel sous-ensemble de mots « , a dit M. Uszkoreit.

La tâche de pré-entraînement de Mad-Libs, que BERT utilise – appelée modélisation en langage masqué – n’est pas nouvelle. En fait, il est utilisé comme outil d’évaluation de la compréhension du langage chez les humains depuis des décennies. Pour Google, elle offrait également un moyen pratique d’activer la bidirectionalité dans les réseaux neuronaux, par opposition aux méthodes unidirectionnelles de préformation qui dominaient auparavant le domaine. « Avant l’ORET, la modélisation unidirectionnelle du langage était la norme, même s’il s’agit d’une contrainte inutilement restrictive, a déclaré Kenton Lee, chercheur scientifique chez Google.

Chacun de ces trois ingrédients – un modèle linguistique préformé en profondeur, l’attention et la bidirectionalité – existait indépendamment avant BRET. Mais jusqu’à ce que Google publie sa recette fin 2018, personne ne les avait combinés d’une manière aussi puissante.

Raffiner la recette

Comme toute bonne recette, BRET a rapidement été adaptée par les cuisiniers à leurs propres goûts. Au printemps 2019, il y a eu une période  » où Microsoft et Alibaba se sont sautés dessus semaine après semaine, continuant à accorder leurs modèles et à échanger leurs places au premier rang du classement « , a rappelé Bowman. Lorsqu’une version améliorée de BRET appelée RoBERTa est apparue pour la première fois en août, le chercheur de DeepMind, Sebastian Ruder, l’a noté avec acuité dans son bulletin de la PNL largement lu : « Un mois de plus, un autre modèle linguistique préformé à la pointe de la technologie. »

Nous sommes encore en train de déterminer quelles recettes fonctionnent et lesquelles ne fonctionnent pas. Myle Ott

La  » pâte à tarte  » de BERT intègre un certain nombre de décisions en matière de conception structurelle qui influent sur son bon fonctionnement. Il s’agit notamment de la taille du réseau neuronal en cours de cuisson, de la quantité de données de préformation, de la façon dont ces données de préformation sont masquées et de la durée pendant laquelle le réseau neuronal peut s’y entraîner. Les recettes subséquentes comme RoBERTa résultent du fait que les chercheurs ont peaufiné ces décisions de conception, tout comme les chefs raffinent un plat.

Dans le cas de RoBERTa, les chercheurs de Facebook et de l’Université de Washington ont augmenté certains ingrédients (plus de données de préformation, des séquences d’entrée plus longues, plus de temps de formation), en ont retiré un (une tâche de « prédiction de la phrase suivante », initialement incluse dans BERT, qui a effectivement dégradé les performances) et en ont modifié un autre (ils ont rendu la tâche de préformation du langage masqué plus dure). Le résultat ? Première place sur GLUE – brièvement. Six semaines plus tard, des chercheurs de Microsoft et de l’Université du Maryland ont ajouté leurs propres modifications à RoBERTa et ont remporté une nouvelle victoire. Au moment d’écrire ces lignes, un autre modèle appelé ALBERT, abréviation de « A Lite BERT« , a pris la première place de GLUE en ajustant encore le design de base de BERT.

« Nous sommes encore en train de déterminer quelles recettes fonctionnent et lesquelles ne fonctionnent pas « , a déclaré Ott de Facebook, qui a travaillé sur RoBERTa.

Cependant, tout comme le perfectionnement de votre technique de pâtisserie n’est pas susceptible de vous enseigner les principes de la chimie, l’optimisation progressive de BERT ne transmet pas nécessairement beaucoup de connaissances théoriques sur les progrès de la PNL. « Je vais être parfaitement honnête avec vous : Je ne suis pas ces articles, parce qu’ils sont extrêmement ennuyeux pour moi, » dit Linzen, le linguiste informaticien de Johns Hopkins. « Il y a là un casse-tête scientifique, concède-t-il, mais il ne s’agit pas de savoir comment rendre l’ORET et tous ses oeufs plus intelligents, ni même comment ils sont devenus intelligents en premier lieu. Au lieu de cela, « nous essayons de comprendre dans quelle mesure ces modèles comprennent vraiment le langage », a-t-il dit, et non « de repérer des astuces bizarres qui se produisent lorsqu’on travaille sur les ensembles de données sur lesquels nous évaluons généralement nos modèles ».

En d’autres termes : BRET fait quelque chose de bien. Et si c’était pour de mauvaises raisons ?

Malin mais pas malin

En juillet 2019, deux chercheurs de l’Université nationale Cheng Kung de Taïwan ont utilisé BERT pour obtenir un résultat impressionnant sur un repère relativement obscur de compréhension du langage naturel appelé la tâche de compréhension du raisonnement argumental. Pour accomplir la tâche, il faut choisir la prémisse implicite appropriée (appelée mandat) qui justifiera une raison de présenter une demande. Par exemple, pour soutenir que « fumer cause le cancer » (l’allégation) parce que « les études scientifiques ont montré un lien entre le tabagisme et le cancer » (la raison), il faut présumer que « les études scientifiques sont crédibles » (le mandat), par opposition à « les études scientifiques sont coûteuses » (ce qui est peut-être vrai, mais n’a aucun sens dans le contexte de l’argument). Vous avez tout ça ?

Sinon, ne vous inquiétez pas. Même les êtres humains ne réussissent pas particulièrement bien dans cette tâche sans pratique : Le score de base moyen d’une personne non formée est de 80%. BERT a obtenu 77 – « surprenant », de l’avis sous-estimé des auteurs.

Mais au lieu de conclure que l’ORET pouvait apparemment imprégner les réseaux neuronaux de capacités de raisonnement quasi aristotéliciennes, ils soupçonnaient une explication plus simple : que BERT reprenait des schémas superficiels dans la manière dont les mandats étaient formulés. En effet, après avoir réanalysé leurs données de formation, les auteurs ont trouvé de nombreuses preuves de ces soi-disant indices fallacieux. Par exemple, le simple choix d’un mandat avec le mot « pas  a permis d’obtenir des réponses correctes dans 61 % des cas. Une fois ces tendances éliminées des données, le score de BET est passé de 77 à 53, ce qui équivaut à une estimation aléatoire. Un article paru dans The Gradient, un magazine d’apprentissage machine publié par le Stanford Artificial Intelligence Laboratory, compare BERT à Clever Hans, les pouvoirs bidons de l’arithmétique.

Les échecs nous ont semblé être un sérieux test d’intelligence jusqu’à ce que nous trouvions comment écrire un programme d’échecs. Sam Bowman

Dans un autre article intitulé « Right for the Wrong Reasons« , Linzen et ses coauteurs ont publié des preuves que les performances élevées de BERT dans certaines tâches de la GLUE pourraient également être attribuées à des indices fallacieux dans les données de formation pour ces tâches. (Le document comprenait un autre ensemble de données conçu pour exposer spécifiquement le type de raccourci que Linzen soupçonnait BERT d’utiliser sur GLUE. Nom de l’ensemble de données : Heuristic Analysis for Natural-Language-Inference Systems, ou HANS.)

BERT, et tous ses frères et sœurs qui cassent les repères, sont-ils donc essentiellement une imposture ? Bowman est d’accord avec Linzen pour dire que certaines données de formation de GLUE sont désordonnées – traversées par des biais subtils introduits par les humains qui les ont créées, qui sont tous potentiellement exploitables par un puissant réseau neuronal basé sur BERT. Il n’y a pas un seul  » truc bon marché  » qui lui permettra de tout résoudre[dans GLUE], mais il y a beaucoup de raccourcis qu’il peut prendre pour vraiment aider « , dit Bowman,  » et le modèle peut reprendre ces raccourcis « . Mais il ne pense pas non plus que les fondations de BERT soient construites sur le sable. « Il semble que nous ayons un modèle qui a vraiment appris quelque chose de substantiel au sujet de la langue « , dit-il. « Mais ce n’est certainement pas comprendre l’anglais d’une manière complète et robuste. »

Selon Yejin Choi, informaticien à l’Université de Washington et à l’Institut Allen, une façon d’encourager les progrès vers une compréhension solide est de se concentrer non seulement sur la construction d’un meilleur BERT, mais aussi sur la conception de meilleurs benchmarks et de données de formation qui réduisent la possibilité de tricherie à la Clever Hanstyle. Son travail explore une approche appelée filtrage accusatoire, qui utilise des algorithmes pour balayer les ensembles de données de formation en PNL et supprimer les exemples qui sont trop répétitifs ou qui introduisent des indices fallacieux qu’un réseau neuronal peut capter. Après ce filtrage accusatoire, « les performances de l’ORET peuvent diminuer considérablement », a-t-elle dit, tandis que « les performances humaines ne diminuent pas autant ».

Néanmoins, certains chercheurs de la PNL croient que même avec une meilleure formation, les modèles de langage neuronal peuvent toujours faire face à un obstacle fondamental à une compréhension réelle. Même avec sa puissante préformation, BERT n’est pas conçu pour modéliser parfaitement le langage en général. Au lieu de cela, après affinement, il modélise « une tâche spécifique de PNL, ou même un ensemble de données spécifique pour cette tâche », a déclaré Anna Rogers, linguiste informaticienne au Text Machine Lab de l’Université du Massachusetts, Lowell. Et il est probable qu’aucun ensemble de données de formation, aussi complet ou soigneusement filtré soit-il, ne puisse saisir tous les cas limites et les apports imprévus auxquels les humains font face sans effort lorsque nous utilisons le langage naturel.

Bowman souligne qu’il est difficile de savoir comment nous pourrions jamais être pleinement convaincus qu’un réseau neuronal parvient à quelque chose comme une véritable compréhension. Après tout, les tests normalisés sont censés révéler quelque chose d’intrinsèque et de généralisable au sujet des connaissances du candidat. Mais comme toute personne ayant suivi un cours de préparation au SAT le sait, les tests peuvent être joués. « Nous avons de la difficulté à faire des tests qui sont assez difficiles et suffisamment fiables pour qu’en les résolvant, nous soyons vraiment convaincus d’avoir résolu un aspect de l’intelligence artificielle ou de la technologie langagière « , dit-il.

En effet, Bowman et ses collaborateurs ont récemment introduit un test appelé SuperGLUE qui est spécifiquement conçu pour être dur pour les systèmes basés sur BERT. Jusqu’à présent, aucun réseau neuronal ne peut battre les performances humaines sur elle. Mais même si (ou quand) cela se produit, cela signifie-t-il que les machines peuvent vraiment mieux comprendre le langage qu’avant ? Ou est-ce que cela signifie simplement que la science s’est améliorée dans l’enseignement des machines à l’essai ?

« C’est une bonne analogie », a dit Bowman. « On a trouvé comment résoudre le LSAT et le MCAT, et on pourrait ne pas être qualifiés pour être médecins et avocats. » Néanmoins, a-t-il ajouté, il semble que c’est ainsi que la recherche sur l’intelligence artificielle progresse. « Les échecs semblaient être un sérieux test d’intelligence jusqu’à ce que nous trouvions comment écrire un programme d’échecs, » dit-il. « Nous sommes définitivement à une époque où l’objectif est de continuer à trouver des problèmes plus difficiles qui représentent la compréhension de la langue, et de continuer à trouver comment résoudre ces problèmes. »

VIa QuantaMagazine et Wired

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.