Créé par Madeline Gannon pour la réunion annuelle 2018 des nouveaux champions au Forum économique mondial, à Tianjin, en Chine, Manus est un ensemble de dix robots industriels programmés pour se comporter comme un troupeau d’animaux. Alors que chaque robot se déplace indépendamment, ils partagent le même cerveau central. Ainsi, au lieu d’agir isolément, ils ont des comportements entrelacés qui se répercutent sur le groupe au fur et à mesure que les gens passent.

Manus utilise 12 caméras de profondeur pour détecter et suivre le langage corporel des visiteurs en approche. Les robots utilisent ensuite ces données de profondeur pour décider vers qui se diriger et s’ils doivent regarder leurs mains ou leur visage. Comme beaucoup de machines autonomes intelligentes d’aujourd’hui, les robots de Manus ne ressemblent pas et n’agissent pas comme nous – mais l’équipe espère montrer qu’ils peuvent encore se connecter avec nous de manière significative.

Venue photo of the World Economic Forum – Annual Meeting of the New Champions in Tianjin, People’s Republic of China 2018. Copyright by World Economic Forum / Valeriano Di Domenico

Manus dispose de dix bras de robot industriel ABB IRB1200 -5/0,9. Ces machines sont plus courantes dans les usines qui manipulent des aliments ou qui peignent des châssis de voitures. Cependant, à Manus, l’équipe a développé un logiciel de vision et de communication personnalisé pour intégrer des comportements autonomes dans ces machines. Leur système de vision utilise 12 capteurs de profondeur à la base de l’installation pour donner aux robots une vue à 360° du monde. Cela donne à l’équipe une région de suivi de 1,5 mètre tout autour de la base de 9 mètres. Le système de suivi recherche les positions 3D de la tête et des mains d’une personne pour les transmettre au logiciel de contrôle du robot.

Leur logiciel de contrôle personnalisé utilise les informations de suivi du système de vision comme données d’entrée pour l’interaction. Chaque robot décide si et comment s’engager avec les personnes suivies, en fonction de leur relation spatiale les unes avec les autres (le langage corporel de la personne). Si une personne d’intérêt est trop éloignée, un robot peut décider qu’elle n’est pas assez intéressée pour la regarder. De même, si une personne est très proche, les robots peuvent changer leur regard pour regarder les mains ou la tête de la personne.

Un seul PC exécute le logiciel de vision et de commande du robot et communique par Ethernet avec les robots industriels physiques en utilisant le protocole ABB Externally Guided Motion (EGM). L’équipe a construit un serveur UDP pour gérer le passage des messages entre les robots réels et virtuels, et pour mieux coordonner les poses désirées et réelles des dix robots.

Manus a été réalisé en utilisant openFrameworks, avec l’aide des addons contributeurs suivants : ofxCv, ofxEasing, ofxGizmo, ofxOneEuroFilter

 

 

Project Page | Madeline Gannon

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.