Google affirme que son nouveau chatbot Meena est le meilleur au monde

Google a lancé un chatbot alimenté par un réseau neuronal, Meena, qui, selon lui, est meilleur que tous les autres chatbot du marché.

L’aspiration des données : Meena a été formé sur un énorme 341 gigaoctets de bavardage de médias sociaux publics – 8,5 fois plus de données que le GPT-2 d’OpenAI. Selon Google, Meena peut parler de n’importe quoi, et même inventer des (mauvaises) blagues.

Les conversations ouvertes qui couvrent un large éventail de sujets sont difficiles, et la plupart des chatbots ne peuvent pas suivre le rythme. À un moment donné, la plupart disent des choses qui n’ont pas de sens ou révèlent un manque de connaissances de base sur le monde. Un chatbot qui évite de telles erreurs contribuera grandement à donner aux IA un sentiment d’humanité et à rendre les personnages des jeux vidéo plus réalistes.

Sens et spécificité : Pour mettre Meena à l’épreuve, Google a développé une nouvelle mesure qu’il appelle la moyenne de sensibilité et de spécificité (Sensibleness and Specificity Average : SSA), qui saisit des attributs importants pour les conversations naturelles, comme le fait de savoir si chaque énoncé a un sens dans le contexte – ce que peuvent faire de nombreux chatbots – et est spécifique à ce qui vient d’être dit, ce qui est plus difficile.

Que voulez-vous dire par là ? Par exemple, si vous dites « J’aime le tennis » et qu’un chatbot vous répond « C’est bien », la réponse a du sens mais n’est pas spécifique. De nombreux chatbots se servent de ce genre d’astuces pour cacher le fait qu’ils ne savent pas de quoi vous parlez. D’autre part, une réponse telle que « Moi aussi, je ne me lasse pas de Roger Federer » est spécifique. Google a utilisé des travailleurs sociaux pour générer des échantillons de conversations et pour noter les propos dans une centaine de conversations. Meena a obtenu un score SSA de 79 %, contre 56 % pour Mitsuku, un chatbot de pointe qui a remporté le prix Loebner ces quatre dernières années. Même les interlocuteurs humains n’ont obtenu que 86 % dans ce nouveau test.

Puis-je parler à Meena ? Pas encore. Google dit qu’il ne publiera pas de démo publique tant qu’il n’aura pas vérifié la sécurité et la partialité du modèle, ce qui est probablement une bonne chose. Lorsque Microsoft a publié son chatbot Tay sur Twitter en 2016, il a commencé à cracher des invectives racistes et misogynes en quelques heures.

Via TechReview


Si ça se trouve Meena est déjà en test avec le compte Twitter de Trump

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.