Ce réseau universel de traduction musicale est fascinant

La recherche de Facebook AI Research a produit Style Transfer pour la musique, capable d’appliquer le style d’une chanson et de la traduire en une autre : c’est clairement captivant !

C’est comme si vous parveniez à prendre le style d’écriture d’un auteur, ou le style pictural d’un artiste (comme avec l’appli Prisma que j’adore)…

Nous présentons une méthode pour traduire la musique à travers les instruments de musique, les genres et les styles. Cette méthode est basée sur un encodeur automatique wavenet multi-domaines, avec un encodeur partagé et un espace latent décomposé qui est formé de bout en bout par des formes d’ondes. En utilisant un ensemble de données de formation diversifié et un grand filet, l’encodeur indépendant du domaine nous permet de traduire même à partir de domaines musicaux qui n’ont pas été vus pendant la formation. La méthode n’est pas supervisée et ne fait pas de supervision sous la forme d’échantillons appariés entre domaines ou de transcriptions musicales. Nous évaluons notre méthode sur NSynth, ainsi que sur un ensemble de données recueillies auprès de musiciens professionnels, et réalisons des traductions convaincantes, même en traduisant à partir du sifflotement, permettant potentiellement la création de musique instrumentale par des humains « non formés ».

Le document peut être trouvé ici

Source : arxiv.org

 

 

1 commentaire sur “Ce réseau universel de traduction musicale est fascinant”

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.