Publicités

Une Intelligence Artificielle douée de synesthésie, testez-la !

Une Intelligence Artificielle douée de synesthésie, testez-la !

En 2016, les chercheurs du MIT ont publié un article intrigant. En utilisant 2 millions de vidéos, ils avaient appris à un réseau neuronal à faire quelque chose de nouveau : reconnaître des scènes ou des objets en fonction de leur sonorité. Basé uniquement sur le bruit d’une vidéo, il pouvait détecter un récif corallien, par exemple, ou un avion décollant. Ils l’ont appelé SoundNet.

Cette année, Nao Tokui, a retournée le concept. Son projet, Imaginary Soundscapes, est un réseau neuronal convolutif qui entend des sons lorsqu’il regarde des images : ce qu’on appelle synesthésie, et que certains individus ont naturellement.

Sur la base d’une image donnée, le logiciel choisit parmi 15 000 fichiers son pour trouver le « paysage sonore » qui convient.

Il a appliqué le logiciel à Google StreetView pour créer un tour du monde audio, avec des sons générés par l’IA pour accompagner n’importe quelle scène de StreetView, depuis les voix qui résonnent dans la cathédrale Sagrada Familia de Barcelone jusqu’aux oiseaux qui chantent sur les routes de campagne.

Les téléspectateurs pouvaient « s’immerger dans le paysage sonore artificiel « imaginé » par nos modèles d’apprentissage profond », a expliqué Tokui sur Medium.

Plus récemment, il a lancé le projet en tant qu’outil que n’importe qui peut essayer d’utiliser n’importe quelle image. Sur la démo, il offre quelques exemples de ce que son IA « entend » quand il regarde les beaux-arts, y compris des œuvres d’artistes comme Monet à Cézanne. C’est comme entrer dans une peinture de paysage vivante et respirante.

Il s’avère que j’ai testé également sur des images plus originales et complexes et que l’AI s’imagine souvent qu’il y a la mer (mais si elle y est, elle en dehors de l’image) donc il faut qu’elle apprenne encore.

Mais prenez ce tableau, le Ponte Salario de Hubert Robert, peint en 1775, il s’agit d’une représentation d’un ancien pont de Rome, aujourd’hui en ruines avec des personnes du XVIIIe siècle.

Voyez / Écoutez comment l’IA interprète cette scène comme une hallucination auditive : avec une cascade de roues sur des pavés, des cris d’oiseaux, des murmures ambiants et à peine audibles, et une ondulation de clochettes. Ce qui est pour le coup très réussi c’est qu’on a effectivement une forme d’ambiance, d’environnement qui donne une nouvelle profondeur aux images. Et ça c’est fascinant.

Écoutez ici :

J’ai testé et je  trouve ça plutôt génial !

Voici le test photo :

 

Et le son généré :

 

Malheureusement ce deuxième test m’a un peu vexée (un pastel que j’ai réalisé):

Et le son associé (mais qui m’a bien fait rire) :

 

Et ici, je me suis sentie un peu comme le chat :

En entendant ça :

 

Mon préféré reste celui-ci :

A VOUS DE TESTER !!

Retrouvez ici le document explicatif en pdf.

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

%d blogueurs aiment cette page :