Si vous étiez un arbre…

La réalité virtuelle ouvre une perspective nouvelle dans la narration et l’engagement. C’est ce qui a germé des projets de film VR TreeSense and Tree .

En juin de l’année dernière, Le MIT a lancé un projet de recherche sur la compréhension et le développement de l’illusion de la propriété du corps dans la réalité virtuelle (VR). Quelques mois plus tard, leur recherche est devenue un film narratif VR : TreeSense. Puis, en octobre, ils ont commencé à collaborer avec les réalisateurs de cinéma pour pousser davantage le projet et développer un film VR hyperréaliste, Tree .

Ce travail est basé sur la conviction que VR offre de nouvelles méthodes pour la narration et l’engagement. Par une altération systématique des stimuli sensoriels du corps humain, du toucher, du contrôle moteur et de la proprioception, nos cerveaux peuvent être formés pour habiter différentes entités. Pratiquement avoir un autre état d’être peut conduire à une augmentation de l’empathie et de l’appréciation des réalités des autres.

Pour mettre en évidence le pouvoir de cette méthode de récit, ils ont décidé de créer un film de VR à sensibilité qui permet aux utilisateurs d’habiter un arbre, en devenant  un arbre et en sentant leurs bras comme des branches et leurs corps comme le tronc. Les membres de l’auditoire partagent collectivement l’expérience d’être un arbre tout au long de son cycle de vie, d’une graine qui monte à travers la saleté, la pousse des branches et la croissance jusqu’à la taille réelle, pour finalement être détruit par le feu. Ils ont appelé ce projet TreeSense.

TreeSense cultive l’arbre

Alors que nous développions TreeSense , les réalisateurs de VR Milica Zec et Winslow Porter ont parlé à notre classe au Media Lab. À l’époque, et par une étrange coïncidence, ils développaient également une histoire similaire sur «être» un arbre. C’était un moment très passionnant, et nous avons décidé de travailler ensemble pour transformer nos idées en une expérience de film VR complète, Tree . Dans le groupe Fluid Interfaces , nous nous sommes chargés de la conception et de la construction des expériences tactiles qui sont représentées dans l’ arbre , tandis que l’artiste Jakob Steensen a conçu ses magnifiques visuels hyperréalistes.

A VOIR : Le fascinant spectacle en stopmotion de la découpe d’un arbre

Dans les deux courts-métrages  TreeSense et Tree , les téléspectateurs mettent un casque VR et se plongent dans une forêt virtuelle. Mais ces projets diffèrent dans leurs technologies tactiles. Dans TreeSense, on compte sur la stimulation musculaire électronique (EMS) pour fournir une rétroaction visotactile. Ils ont conçu une série de signaux EMS en combinant différentes amplitudes d’impulsions, largeur d’impulsion, fréquence actuelle et l’emplacement des électrodes. La partie passionnante de l’EMS est d’être en mesure d’explorer des sensations corporelles inhabituelles, y compris le sentiment d’électricité sous la peau, ou les doigts se déplaçant involontairement. Les membres de l’auditoire peuvent effectivement sentir leurs branches croître ou se faire piqueter par un oiseau. Cette implémentation d’EMS est encore expérimentale.

Dans Tree, c’est une approche plus conventionnelle et plus mature qui est suivie car le projet doit fonctionner de manière fiable pour des centaines de personnes lors d’événements publics comme les festivals de cinéma en salles. La plupart du temps, on utilise des produits commerciaux, comme un Subpac pour les vibrations corporelles. Ils ont également personnalisé des points de vibration localisés sur le bras et utilisé des subwoofers dans un plancher vibrant afin que les utilisateurs puissent sentir les retombées d’un orage. Chaque fois qu’il y a du tonnerre, de la foudre ou un feu dans la VR, les gens vivent aussi ces phénomènes  qui « touchent » l’arbre. Ils ont également fait appel à un agent aérien pour simuler le vent, et ajouté de la chaleur dans la vie réelle pour simuler le feu qui menace la « personne-arbre ».

Le film, Tree , est comme une extension polie du projet, TreeSense  Le film VR a été montré en dehors du milieu académique et vu par des centaines de spectateurs dans les festivals de 2017, dont Sundance, TribeCa et TED: The Future You. Lors du festival du film de Tribeca, l’expérience VR immersive de Tree comprenait également l’utilisation de parfums: l’auditoire sentait littéralement la saleté, la forêt tropicale et le feu.

Jusqu’à présent, les présentations aux festivals de films et ailleurs ont été très bien reçues. Le public est sorti de l’expérience du film VR en larmes. Ils ont adoré être témoin du pouvoir des sensations corporelles dans cette nouvelle forme de récit. Les gens disaient qu’ils se sentaient vraiment comme un arbre et ont trouvé sa destruction terrifiante et émotionnelle. Pendant ce temps,  TreeSense  vient de recevoir un prix d’interaction dans Core77 Design Awards cette année et il sera présenté à Design Dubai Week à l’automne.

Défis et attentes

Les deux projets: Tree and TreeSense – expérimentent de nouvelles méthodologies pour la narration participative immersive en s’appuyant sur de nouvelles technologies telles que la VR et les mécanismes de rétroaction tactile. Cela vise à évoquer des expériences corporelles crédibles grâce à la stimulation musculaire électronique, aux vibrations, à la température et aux parfums pour débloquer un niveau de réalisme plus élevé. Comme l’a dit un membre de l’auditoire après avoir été immergé dans Tree , « Vous savez que ce n’est pas réel, mais votre corps le croit vraiment! »

La conception d’expériences multi-sensorielles est un processus compliqué de composition et de chorégraphie. Il faut constamment veiller à ce que les expériences soient parfaitement synchronisées, tant en termes de synchronisation que d’intensité. Il y a déjà une haute fidélité visuelle et audio à l’intérieur du casque VR, mais ce n’est pas une chose triviale d’ajouter des éléments tactiles pour améliorer l’expérience, et non distraire ou perturber l’utilisateur.

Dans Tree, il y a de multi-playlists audio pour chaque partie de la vibration du corps, afin qu’une personne puisse ressentir le tonnerre, ou la perturbation du feu de forêt, ou un atterrissage d’oiseau sur une branche. Toute l’expérience tactile est contrôlée numériquement par le logiciel Max / MSP et Arduino tout en communiquant avec le moteur Unreal grâce au protocole Open Sound Control. Le retour tactile, olfactif et thermique dans la vie réelle est précisément synchronisé avec l’expérience visuelle à l’intérieur du casque Oculus. Il y a eu diverses itérations pour faire correspondre les détails visuels virtuels avec l’intensité, la texture et le calendrier des expériences physiques.

TreeSense et Tree utilisent plus de sens pour aider les gens à se connecter avec le récit. L’expérience VR intime, viscérale et émotionnelle doit également avoir un impact réel en ce sens qu’elle aide les utilisateurs à développer une identification personnelle et immédiate avec l’environnement naturel et la nécessité de la protéger.

En ce sens, Tree est un exemple de plate-forme VR multisensorielle qui a un vaste potentiel en dehors du monde de la recherche. La valeur potentielle de la technologie à des fins diverses dans de nombreux domaines est évidente, pour les télécommunications, l’apprentissage actif et même les applications médicales.

Xin Liu est assistant de recherche dans le groupe Fluid Interfaces au MIT Media Lab. Elle sera diplômée d’une maîtrise en août 2017. Yedan Qian est étudiante invitée en Fluid Interfaces.

Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s