Ces dernières années, nous avons vu émerger un nombre conséquent d’expériences dites « immersives ». C’est néanmoins avec prudence et vigilance que ce terme doit être compris. Il fait référence tantôt au contenu qui nous fait découvrir des endroits cachés (ex : Venise immersive) sur écran 2D, tantôt à une véritable expérience physique qui nous immerge dans un univers virtuel grâce à un casque de réalité virtuelle (ex : Eternelle Notre-Dame).
On peut alors se poser la question de pourquoi ce terme est utilisé à outrance, parfois à tort. Pour attirer et aguicher la plus large cible possible ? L’immersion répond-elle à un besoin de vivre un moment autrement ? Ou à une volonté de tromper nos sens pour explorer un nouveau moyen de divertir ?
Les premières formes d’immersion ont été proposées par l’industrie du cinéma où la reproduction crédible d’une réalité s’est engagée avec un travail colossal réalisé sur les textures, les lumières, les mouvements et les émotions. Un exemple emblématique et non moins récent : le célèbre Avatar de James Cameron sorti en salle fin 2009. Le film a reçu l’oscar des Meilleurs effets visuels. Il a révolutionné le cinéma avec la motion capture mise au service d’un résultat bluffant de réalisme nous plongeant immédiatement et sans couture dans l’univers de Pandora.
Ce type de démonstration a imposé des standards dans l’esprit du public, en termes d’exigence vis-à-vis de la vraisemblance et de la crédibilité qu’une image virtuelle pouvait dégager. Toutes les productions virtuelles postérieures qui se veulent réalistes, doivent donc s’y conformer sous peine d’être jugées décalées par rapport au résultat attendu technologiquement possible.
La course à la reproduction crédible d’une réalité s’est accélérée ces dernières années hors du cinéma avec l’apparition d’un certain nombre d’expériences immersives, rendues possibles par la maturité croissante des technologies.
Cette course a été entreprise par de nombreuses sociétés pour notamment innover et se réinventer de manière à proposer de nouveaux contenus et attirer de nouveaux publics. Tous les secteurs des industries culturelles et créatives sont concernés, de la musique à la culture, en passant par le sport.
Les nombreux concerts virtuels, pour ne citer que Travis Scott dans Fortnite en 2020, Maddison Beer avec Sony en 2021 et Timothée Joly sur Horizon Worlds en 2022 illustrent différentes façons de restituer une performance musicale avec des degrés de vraisemblance variés.
Les expéditions immersives au sein de Notre-Dame ou au cœur des pyramides de Khéops nous proposent un voyage au sein de monuments du patrimoine historique sans oublier le voyage sensoriel sur les hauteurs du Machu Picchu.
Côté sport, des jumeaux numériques de stade foisonnent : le Melbourne Park pour le tennis, Truist Park pour le baseball, Aviva Stadium pour le rugby ou encore l’Ethiad Stadium pour le football. Ces stades virtuels constituent le réceptacle d’événements ludiques et sociaux, à destination principalement des fans de sport, qui viennent en complément des événements sportifs qui se passent dans les répliques originales des différents stades.
Ces producteurs de nouveaux contenus montent peu à peu en compétences sur la maîtrise des technologies requises à la création de ces expériences. Contrairement aux grands studios de cinéma dont les moyens financiers, techniques et temporels sont à la hauteur des productions qu’ils proposent, ces sociétés doivent faire avec des moyens parfois beaucoup plus modestes, et le résultat obtenu s’en ressent.
Certains éléments comme les graphismes ou les mouvements des avatars qui ne suivent pas les règles de la biomécanique, sont les principaux écueils remontés par les utilisateurs. L’immersion permise par la suspension consentie de l’incrédulité des spectateurs au sein de ces univers virtuels est alors rompue par l’invraisemblance de ces productions numériques.
Pour pallier ce type de mésaventures, certaines sociétés privilégient une autre approche. Plutôt que de proposer une expérience purement virtuelle qui pourrait sembler loin de nos usages d’aujourd’hui et ciblant des utilisateurs de niche, des entreprises réfléchissent à proposer des applications basées sur le réel mais augmenté !
N'avez-vous jamais rêvé de vivre un match de votre équipe favorite de l'intérieur ? De pouvoir vous positionner n'importe où sur le terrain pour voir et revoir sous tous les angles les actions qui ont conduit votre équipe à marquer le but de la victoire ? De ressentir les émotions multiples qui se lisent sur les visages de vos idoles ?
Cet exemple illustre parfaitement ce que l’on pourrait attendre d’une expérience sportive virtuelle immersive. Une personne pourrait être immergée dans un monde virtuel et vivre une expérience inédite grâce à un simple casque de réalité virtuelle.
C’est technologiquement faisable grâce à la capture volumétrique, aussi appelée vidéo volumétrique.
La vidéo volumétrique est une technique qui consiste à capturer une performance ou un mouvement en 3 dimensions. Chaque point est enregistré avec une position dans l’espace et une couleur sous forme de texture. L’analyse de ces données permet d’obtenir un modèle en 3 dimensions, animé et photoréaliste.
Les applications sont multiples et variées :
- Dans le cadre du sport, nous l’avons évoqué, cette technique a été utilisée pour reconstituer en 3D un match de basket des Brooklyn Nets (Canon) ou un combat d’UFC (Unity). L’intérêt est alors de modifier la position de la caméra – virtuelle – pour se positionner au cœur de l’action.
- Cette technique a été utilisée pour le dernier concert de Jean-Michel Jarre, mais clairement sous exploitée car disponible qu’en 180° à une distance donnée avec une qualité largement perfectible due à la diffusion en direct. Alors qu’il serait possible de tourner tout autour de l’artiste et se rapprocher de sa version numérique comme s’il était en réalité juste à côté de nous.
- Autre exemple, la performance de Woodkid diffusée sur la chaîne TV allemande ZDF en décembre 2020. Sous la forme d’un avatar, l’artiste est apparu dans le studio de télévision. Sa performance capturée en amont dans un studio de captation volumétrique a été injectée sur la scène où était présent physiquement son groupe de musiciens.
- L’enveloppe 3D -maillage pour les connaisseurs- peut être manipulée à souhait pour proposer une réinterprétation artistique d’une performance. Le clip de Chelmico illustre parfaitement les degrés de liberté disponibles.
- Le modèle 3D est également une base de données incroyable que l’on pourrait associer à du machine learning, par exemple pour identifier les figures d’un patineur artistique ou d’une gymnaste et les comparer à une base de référence pour comprendre les potentiels déductions de points appliqués par les juges sportifs. Cette technique de captation et l’utilisation que l’on pourrait faire du modèle de données ouvre un champ d’application particulièrement large.
Il faut cependant noter les conditions nécessaires à l’utilisation de la vidéo volumétrique où un compromis devra être fait, à l’heure actuelle, entre la qualité de l’image produite et l’utilisation en temps réel.
Aujourd’hui, l’analyse d’1 minute de vidéo volumétrique nécessite pour les moteurs les plus performants 2 à 3 heures de calcul pour avoir un rendu de qualité. Nous comprenons vite sur quelles manettes jouer. Si nous souhaitons diminuer le temps de calcul et faire du (quasi-)temps réel, nous devons soit réduire la quantité de données à analyser et donc appauvrir la qualité de l’image, soit se doter de matériels très performants mais onéreux
Unity avait dévoilé fin 2021 sa plateforme Metacast permettant de diffuser des images 3D en temps réel lors d’événements sportifs. Peter Moore avait pour ambition d’améliorer la qualité graphique des images tout en conservant le temps réel avec un déploiement à l’échelle en 2022 a minima aux États-Unis. Le silence radio depuis laisse-t-il présager des difficultés dans la mise à disposition de telles quantités de données en temps réel, voire un abandon du projet ?
En tablant sur une maturité grandissante des technologies et une montée en puissance des capacités de calcul, cette technique de captation offre néanmoins de belles perspectives aux entreprises de production de contenus. Les investissements réalisés seraient rentabilisés à court terme du fait de leur utilisation immédiate sur les canaux de diffusion traditionnels. Ils permettraient dans le même temps de se préparer pour les futurs usages dans ces univers virtuels en cours de construction. Commencer dès maintenant permettrait de faire une montée en compétences progressive sur le sujet pour se préparer aux usages de demain.
D’ici là, les producteurs de contenus devraient peut-être se tourner vers des alternatives immersives qui sont déjà optimisées. Elles ne cocheront sans doute pas toutes les cases de la vidéo volumétrique mais pourront clairement apporter une touche d’immersion au contenu proposé.
- Alternative n°1 : la vidéo stéréoscopique 180° ou 360° va permettre de visualiser ce qui aura été filmé par la caméra et ce à 180° ou 360° avec un effet de profondeur que nous n’avons pas avec une caméra 180/360 classique. Ainsi, plutôt que d’avoir l’impression d’être dans un dôme entouré par une fresque, l’utilisateur sera téléporté sur le lieu du tournage. Les vidéos de Free Solo sont impressionnantes de réalisme. L’inconvénient majeur est la position de la caméra qui conditionne le point de vue du spectateur.
- Alternative n°2 : utiliser la captation volumétrique mais de manière simplifiée pour ne capter que les mouvements des personnes filmées et les retranscrire sous forme de squelettes habillés par des avatars a posteriori. L’avantage par rapport à la motion capture est de libérer les sujets de combinaison tout en respectant le plus fidèlement possible la biomécanique.
En résumé, dans la course à l’immersion, le potentiel de la vidéo volumétrique est à considérer avec sérieux, mais d’autres solutions existent pour faire un premier pas vers le contenu immersif, dans le fond et la forme !
- Estelle Noé, Senior Consultante
