Le projet en ligne de Qosmo génère des sons ambiants dans Google Streetview panoramas par le biais de processus Deep Learning, interprétant les visuels pour des sons appropriés:

« Imaginary Soundscape » est une installation sonore sur le Web, dans laquelle les spectateurs peuvent se promener librement adans Google Street View et s’immerger dans le paysage sonore imaginaire généré par des modèles d’apprentissage profond.

… Une fois formé, le reste était simple. Pour une image donnée de Google Street View, nous pouvons trouver le fichier son le mieux adapté à partir d’un ensemble de données sonores pré-collectées, de sorte que la sortie de SoundNet avec l’entrée son est la plus proche de la sortie du modèle CNN pour l’image. En tant qu’ensemble de données sonores, nous avons collecté 15 000 fichiers sonores sur Internet publiés sous licence Creative Commons et filtrés avec un autre modèle CNN sur un spectrogramme formé pour distinguer les sons environnementaux/ambiants des autres types d’audio (musique, parole, etc.).

Vous pouvez l’essayer par vous-même ici, et trouver plus d’informations générales ici

Source: imaginarysoundscape. qosmo. jp

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.