Facebook veut améliorer l’IA en demandant aux gens de la tester

Des tests, des tests : Les succès explosifs de l’IA depuis une dizaine d’années sont généralement attribués à l’abondance des données et à la puissance de calcul. Mais les points de référence jouent également un rôle crucial dans la conduite des tests de progrès, sur lesquels les chercheurs peuvent se baser pour évaluer le niveau de développement de leur IA. Les objectifs fixes sont cependant faciles à atteindre. Cela conduit à des impressions trompeuses sur la qualité réelle des IA. C’est pourquoi Facebook publie un nouveau type de test qui oppose les IA aux humains qui font de leur mieux pour tenter de les faire échouer. Appelé Dynabench, le test sera aussi difficile que les gens choisiront de le faire.

Comment cela fonctionne-t-il ? Dynabench invite les gens à se rendre sur le site web et à interroger les modèles qui se cachent derrière. Par exemple, vous pouvez donner à un modèle linguistique une page Wikipédia et lui poser des questions, en notant ses réponses. L’accent est mis sur les modèles de langue, car ils constituent l’une des formes d’IA les plus faciles à utiliser par les humains.

L’objectif : Les défaillances qui apparaissent lors des tests seront automatiquement répercutées sur les futurs modèles, ce qui les rendra toujours meilleurs.

https://dynabench.org/

Lire l’article complet sur MITechreview

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.