Publicités

Le dernier bond en avant en matière d’IA visuelle est carrément hypnotisant

Le dernier bond en avant en matière d’IA visuelle est carrément hypnotisant

Un nouvel algorithme, développé par l’Université de Washington et Facebook, peut « réveiller » les gens en photos.

Sur la page de leur projet, les informaticiens Chung-Yi Weng et Brian Curless de l’UW, ainsi que Ira Kemelmacher-Shlizerman de Facebook, décrivent un processus qui peut prendre une seule photo et créer un personnage qui sort du cadre vers le spectateur. Ils peuvent aussi faire courir, asseoir ou faire sauter le personnage.

Les chercheurs présenteront leur algorithme plus tard ce mois-ci à la Conférence sur la vision par ordinateur et la reconnaissance de formes à Long Beach, en Californie, mais le logiciel commence par analyser une image fixe pour détecter une forme humaine et y placer un corps transformable. À partir de là, il crée une carte du corps, étiquetant chacune des parties. Une fois la carte terminée, le logiciel l’utilise pour construire le maillage tridimensionnel du personnage, en estimant le poids de son corps pour qu’il puisse ensuite appliquer un mouvement réaliste. Enfin, il prend l’image originale et l’utilise pour construire une texture autour du corps 3D. L’étape finale consiste à reconstituer l’arrière-plan qui est occulté par la forme de la personne afin qu’elle ne laisse pas de trou blanc derrière elle.

Leur technologie fonctionne avec tout ce que vous pouvez utiliser, d’une photo de Paul McCartney en couverture de Help à l’un des célèbres portraits de Picasso. Vous pouvez le voir en action ici :

Dans un communiqué de presse, Kemelmacher-Shlizerman affirme que cela résout en partie l’un des problèmes fondamentaux de la vision par ordinateur, que les chercheurs considéraient auparavant comme impossible à résoudre. « Le grand défi ici, c’est que l’entrée ne se fait qu’à partir d’une seule position de caméra, de sorte qu’une partie de la personne est invisible « , explique-t-elle. « Notre travail combine le progrès technique sur un problème ouvert dans le domaine avec la visualisation créative artistique. » Curless fait remarquer que, alors que les efforts précédents utilisaient plusieurs photos de différents points de vue, « on ne pouvait toujours pas donner vie à quelqu’un et le faire sortir d’une scène ».


[Image : gracieuseté de l’Université de Washington]

Comme le démontrent les chercheurs, cette technique est particulièrement impressionnante lorsque vous utilisez un casque de réalité augmentée pour la visionner. Ils proposent une méthode qui vous permettra de regarder n’importe quelle photo ou peinture, de claquer des doigts et de faire un pas dans le monde réel devant vos yeux. Ce serait une excellente façon d’interagir avec une exposition de musée, par exemple. Selon les scientifiques, une application plus immédiate de la technologie serait de créer des avatars de jeu à partir d’images fixes ou de dessins – ou de les utiliser pour donner vie aux dessins des enfants dans un jeu.

Le logiciel a ses limites. Par exemple, il ne peut pas gérer les personnes dont les bras ou les jambes sont croisés. Mais il s’agit encore d’une version ancienne. Comme le dit Weng, « Photo Wake-Up est une nouvelle façon d’interagir avec les photos. Il ne peut pas encore tout faire, mais ce n’est que le début. » En effet. Il semble probable que leur recherche – qui a été financée par Facebook, Huawei et Google – n’est qu’un aperçu de la façon dont une IA similaire fera rapidement tomber le mur entre la réalité et la fiction en ligne.

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

%d blogueurs aiment cette page :