Publicités

Le robot d’OpenAI a appris à résoudre un Rubik’s cube d’une seule main

Le robot d’OpenAI a appris à résoudre un Rubik’s cube d’une seule main

L’organisation de recherche en intelligence artificielle OpenAI a franchi une nouvelle étape dans sa quête de construction de robots d’apprentissage automatique à usage général. La division robotique du groupe dit que Dactyl, sa main robotique humanoïde développée pour la première fois l’année dernière, a appris à résoudre un Rubik’s cube à une main. OpenAI considère cet exploit comme un bond en avant tant pour la dextérité des appendices robotiques que pour son propre logiciel d’IA, qui permet à Dactyl d’apprendre de nouvelles tâches à l’aide de simulations virtuelles avant de se voir présenter un véritable défi physique à relever.

Dans une vidéo de démonstration présentant les nouveaux talents de Dactyl, nous pouvons voir la main robotique tâtonner vers un cube complet résolu avec des manœuvres maladroites mais précises. Cela prend plusieurs minutes, mais Dactyl est finalement capable de résoudre le puzzle. C’est quelque peu troublant à voir en action, ne serait-ce que parce que les mouvements semblent sensiblement moins fluides que ceux de l’homme et surtout disjoints par rapport à la vitesse aveuglante et à la dextérité brute affichées quand un speedcuber humain résout le cube en quelques secondes seulement.

Mais pour OpenAI, la réussite de Dactyl lui rapproche d’un objectif très recherché par les industries de l’IA et de la robotique : un robot qui peut apprendre à effectuer une variété de tâches du monde réel, sans avoir à s’entraîner pendant des mois ou des années en temps réel et sans devoir être programmé spécifiquement.

« Beaucoup de robots peuvent résoudre les cubes de Rubik très rapidement. La différence importante entre ce qu’ils ont fait là-bas et ce que nous faisons ici, c’est que ces robots sont très spécifiques « , explique Peter Welinder, chercheur scientifique et responsable de la robotique chez OpenAI. « Il est évident qu’il n’est pas possible d’utiliser le même robot ou la même approche pour effectuer une autre tâche. L’équipe robotique d’OpenAI a des ambitions très différentes. Nous essayons de construire un robot polyvalent. De la même façon que les humains et que nos mains humaines peuvent faire beaucoup de choses, pas seulement une tâche spécifique, nous essayons de construire quelque chose qui est beaucoup plus général dans sa portée. »

Welinder fait référence à une série de robots au cours des dernières années qui ont poussé la résolution du cube de Rubik bien au-delà des limites des mains et de l’esprit humains. En 2016, le fabricant de semi-conducteurs Infineon a développé un robot spécifiquement pour résoudre un Rubik’s cube à des vitesses surhumaines, et le robot a réussi à le faire en moins d’une seconde. Cela a écrasé le record du monde humain de moins de cinq secondes à l’époque. Deux ans plus tard, une machine développée par le MIT a résolu un cube en moins de 0,4 secondes. Fin 2018, une chaîne japonaise de YouTube appelée Human Controller a même développé son propre Rubik’s cube à résolution automatique en utilisant un noyau imprimé en 3D attaché à des servomoteurs programmables.

LES MACHINES ONT ÉTÉ CAPABLES DE RÉSOUDRE LE RUBIK’S CUBE À DES VITESSES SURHUMAINES PENDANT DES ANNÉES
En d’autres termes, un robot construit pour une tâche spécifique et programmé pour exécuter cette tâche aussi efficacement que possible peut faire généralement mieux qu’un humain, et la résolution de cubes de Rubik est quelque chose que le logiciel maîtrise depuis longtemps. Le développement d’un robot pour résoudre le cube, même humanoïde, n’est donc pas si remarquable en soi, et moins à la vitesse lente que Dactyl utilise.

Mais le robot Dactyl d’OpenAI et le logiciel qui l’alimente sont d’une conception et d’une fonction très différentes de celles d’une machine dédiée à la résolution de cubes. Comme le dit Welinder, le travail continu d’OpenAI dans le domaine de la robotique ne vise pas à obtenir des résultats supérieurs dans des tâches spécifiques, car cela nécessite seulement de développer un meilleur robot et de le programmer en conséquence. Cela peut se faire sans intelligence artificielle moderne.

Au lieu de cela, Dactyl est développé à partir de la base comme une main robotique d’auto-apprentissage qui aborde de nouvelles tâches comme le ferait un humain. Il est formé à l’aide d’un logiciel qui essaie, de façon rudimentaire en ce moment, de reproduire les millions d’années d’évolution qui nous aident à apprendre à utiliser nos mains instinctivement comme des enfants. Cela pourrait un jour, espère OpenAI, aider l’humanité à développer le genre de robots humanoïdes que nous ne connaissons que de la science-fiction, des robots qui peuvent fonctionner en toute sécurité dans la société sans nous mettre en danger et accomplir une grande variété de tâches dans des environnements aussi chaotiques que les rues des villes et les ateliers.

Pour apprendre à résoudre un Rubik’s cube d’une seule main, OpenAI n’a pas explicitement programmé Dactyl pour résoudre le jouet ; les logiciels libres sur Internet peuvent le faire pour vous. Il a également choisi de ne pas programmer de mouvements individuels pour que la main puisse les exécuter, car il voulait qu’elle puisse discerner ces mouvements par elle-même. Au lieu de cela, l’équipe de robotique a donné au logiciel sous-jacent de la main l’objectif final de résoudre un cube brouillé et a utilisé l’intelligence artificielle moderne – en particulier une marque d’apprentissage profond basé sur des mesures incitatives appelé apprentissage de renforcement – pour l’aider sur le chemin de la découverte par elle-même. C’est la même approche de la formation des agents AI qui a permis à OpenAI de développer son Dota 2 bot de classe mondiale.

Mais jusqu’à récemment, il était beaucoup plus facile de former un agent d’IA à faire quelque chose virtuellement – jouer à un jeu vidéo, par exemple – que de l’entraîner à exécuter une tâche du monde réel. En effet, il est possible d’accélérer les logiciels de formation pour faire quelque chose dans un monde virtuel, de sorte que l’IA peut passer l’équivalent de dizaines de milliers d’années de formation en quelques mois de temps réel, grâce à des milliers de CPU haut de gamme et de GPU ultra puissants fonctionnant en parallèle.

Il n’est pas possible d’effectuer le même niveau d’entraînement en exécutant une tâche physique avec un robot physique. C’est pourquoi OpenAI essaie de mettre au point de nouvelles méthodes de formation robotique en utilisant des environnements simulés à la place du monde réel, ce que l’industrie de la robotique a à peine expérimenté. De cette façon, le logiciel peut s’exercer intensivement à un rythme accéléré sur de nombreux ordinateurs différents simultanément, avec l’espoir qu’il conserve cette connaissance lorsqu’il commence à contrôler un robot réel.

LA MAIN ROBOTIQUE DACTYL DACTYL D’OPENAI EST ALIMENTÉE PAR LE LOGICIEL AI
En raison de la limitation de la formation et de problèmes de sécurité évidents, les robots utilisés commercialement aujourd’hui n’utilisent pas l’IA et sont plutôt programmés avec des instructions très spécifiques. « Dans le passé, on a utilisé des algorithmes très spécialisés pour résoudre des tâches, ce qui permet d’obtenir un modèle précis du robot et de l’environnement dans lequel vous évoluez « , explique M. Welinder. « Pour un robot d’usine, vous avez des modèles très précis et vous connaissez exactement l’environnement sur lequel vous travaillez. Vous savez exactement comment il va s’occuper de la partie en question. »

C’est aussi pourquoi les robots actuels sont beaucoup moins polyvalents que les humains. Il faut beaucoup de temps, d’efforts et d’argent pour reprogrammer un robot qui assemble, disons, une pièce spécifique d’une automobile ou un composant informatique pour faire autre chose. Présentez un robot qui n’a pas été correctement entraîné, même avec une tâche simple qui implique n’importe quel niveau de dextérité humaine ou de traitement visuel, et il échouerait lamentablement. Avec les techniques modernes d’IA, cependant, les robots pourraient être modelés comme les humains, de sorte qu’ils puissent utiliser la même compréhension intuitive du monde pour tout faire, de l’ouverture des portes à la friture d’un œuf. Du moins, c’est le rêve.

Nous sommes encore loin de ce niveau de sophistication, et les progrès réalisés par la communauté de l’intelligence artificielle en matière de logiciels – comme les voitures auto-propulsées, la traduction automatique et la reconnaissance d’images – ne se sont pas exactement traduits en robots de nouvelle génération. En ce moment, OpenAI essaie juste d’imiter la complexité d’une partie du corps humain et d’obtenir que cet analogue robotique fonctionne plus naturellement.

C’est pourquoi Dactyl est une main robotique à 24 articulations modelée d’après une main humaine, au lieu des pinces robotiques de type griffe ou pince que vous voyez dans les usines. Et pour le logiciel qui permet à Dactyl d’apprendre à utiliser toutes ces articulations comme le ferait un humain, OpenAI l’a soumis à des milliers d’années de formation en simulation avant d’essayer de résoudre le cube physique.

« Si vous entraînez des choses sur le robot du monde réel, il est évident que tout ce que vous apprenez fonctionne sur ce sur quoi vous voulez réellement déployer pour votre algorithme. De cette façon, c’est beaucoup plus simple. Mais les algorithmes d’aujourd’hui ont besoin de beaucoup de données. Pour former un robot du monde réel, pour faire quoi que ce soit de complexe, il faut de nombreuses années d’expérience « , explique M. Welinder. « Même pour un humain, ça prend quelques années, et les humains ont des millions d’années d’évolution pour avoir la capacité d’apprendre à utiliser une main. »

Dans une simulation, cependant, M. Welinder indique que l’entraînement peut être accéléré, tout comme dans le cas du jeu et d’autres tâches populaires comme les tests d’intelligence artificielle. « Cela prend des milliers d’années pour entraîner l’algorithme. Mais cela ne prend que quelques jours car nous pouvons paralléliser la formation. Vous n’avez pas non plus à craindre que les robots cassent ou blessent quelqu’un pendant que vous entraînez ces algorithmes « , ajoute-t-il. Pourtant, dans le passé, les chercheurs ont eu beaucoup de mal à obtenir une formation virtuelle pour travailler sur les robots physiques. OpenAI dit qu’elle est parmi les premières organisations à vraiment voir des progrès à cet égard.

Quand on lui a donné un vrai cube, Dactyl a mis son entraînement en pratique et l’a résolu par lui-même, et ce, dans diverses conditions pour lesquelles il n’avait jamais été explicitement formé. Cela inclut la résolution du cube d’une seule main avec un gant, avec deux de ses doigts attachés ensemble, et pendant que les membres d’OpenAI l’interféraient continuellement en le piquant avec d’autres objets et en le recouvrant de bulles et de morceaux de papier confetti.

OPENAI A FORMÉ DACTYL PENDANT DES MILLIERS D’ANNÉES EN UTILISANT LA SIMULATION AVANT DE TESTER SES COMPÉTENCES DANS LE MONDE RÉEL.

« Nous avons constaté que dans toutes ces perturbations, le robot était encore capable de tourner le Rubik’s cube avec succès. Mais cela n’a pas été le cas à l’entraînement « , explique Matthias Plappert, responsable de l’équipe robotique de l’OpenAI chez Welinder. « La robustesse que nous avons trouvée en essayant ça sur le robot physique nous a surpris. »

C’est pourquoi OpenAI considère que les nouvelles compétences acquises par Dactyl sont tout aussi importantes pour l’avancement du matériel robotique que pour la formation en IA. Même les robots les plus avancés au monde, comme les robots humanoïdes et les robots en forme de chien développés par Boston Dynamics, leader de l’industrie, ne peuvent pas fonctionner de manière autonome, et ils nécessitent une programmation spécifique étendue et une intervention humaine fréquente pour réaliser des actions même élémentaires.

OpenAI dit que Dactyl est un pas petit mais vital vers le genre de robots qui pourraient un jour effectuer du travail manuel ou des tâches ménagères et même travailler avec des humains, au lieu de travailler dans des environnements fermés, sans aucune programmation explicite régissant leurs actions.

Dans cette vision de l’avenir, la capacité des robots à apprendre de nouvelles tâches et à s’adapter à des environnements changeants dépendra autant de la flexibilité de l’IA que de la robustesse de la machine physique. « Ces méthodes commencent vraiment à démontrer qu’il s’agit là des solutions pour faire face à toutes les complications inhérentes et au désordre du monde physique dans lequel nous vivons « , dit M. Plappert.

Via The Verge

C’est dans ces cas-là que l’innovation technologique est fantastique !

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

%d blogueurs aiment cette page :