Comment le suivi complet du corps révolutionne la réalité virtuelle sociale

Crédit image : traqueurs HaritoraX par Shiftall

L'immersion est l'un des éléments les plus critiques des expériences de réalité virtuelle. Alors que les entreprises font la promotion de leurs produits VR en mettant l’accent sur leur immersion, les attentes des consommateurs sont plus élevées que jamais. La réalité virtuelle, une industrie de 16,8 milliards de dollars , peut créer des expériences irréelles qui ne peuvent être reproduites sur aucun autre support. Cependant, moins cela semble naturel, plus cela les éloigne de cette expérience. Parmi les aspects les plus importants de l’immersion en VR figurent notre propre corps. C'est là qu'intervient le suivi complet du corps. Parlons de la façon dont le suivi et l'estimation du corps entier changent la façon dont nous vivons la réalité virtuelle sociale et ce qui nous attend.

Où sont mes jambes ?

Il y a quelques années, lors du cycle de battage médiatique de Meta, l'immersion était un sujet couramment discuté. L'effort marketing pour le saut de Meta dans la réalité virtuelle promettait un monde dans lequel les consommateurs pourraient être pleinement immergés. Après avoir subventionné le coût du Quest 2 pour le mettre entre les mains de 14,8 millions de personnes d'ici juin 2022, le creux de la désillusion de l'immersion a rapidement été atteint. s'installer.

L'enquête sur le matériel VR de Steam de décembre 2023 révèle que l'Oculus Quest 2 est le casque le plus utilisé pour leur plate-forme PC VR.

Mis à part les graphismes caricaturaux nécessaires pour prendre en charge le matériel Quest 2 autonome, le détail le plus important pour de nombreuses personnes était leur manque de jambes. Avec uniquement les informations provenant des caméras du casque et des positions des contrôleurs, l’estimation de la pose ne peut pas accomplir grand-chose. Cependant, les consommateurs en voulaient naturellement plus.

Les données de Google Trends révèlent que l’intérêt pour les recherches sur le suivi complet du corps a considérablement augmenté au cours des cinq dernières années. Il a augmenté et stabilisé à plusieurs reprises depuis 2022, ce qui montre que les consommateurs s'intéressent au sujet. Alors que le suivi IMU comme SlimeVR commence tout juste à être livré aux bailleurs de fonds, c'est maintenant un moment crucial pour les startups de devancer la concurrence en développant et en publiant des trackers pour prendre en charge les utilisateurs de VR sociale. Mais qu’est-ce que le suivi corporel complet et pourquoi les gens le souhaitent-ils tant ?

Qu’est-ce que le suivi complet du corps ?

Si les passionnés de réalité virtuelle veulent un suivi précis des jambes, ils pourraient être surpris d’apprendre que cela est accessible aux consommateurs depuis de nombreuses années. Vive a lancé ses premiers trackers compatibles avec les stations de base en 2017. Initialement commercialisés pour permettre le suivi d'objets du monde réel en VR, ils ont rapidement été adoptés par les joueurs pour suivre des parties de leur corps comme leurs jambes, leurs genoux, leurs coudes et leur poitrine.

Le suivi complet du corps (FBT) permet aux utilisateurs de réalité virtuelle et aux artistes de capture de mouvement de suivre autant de corps que possible. Dans les deux cas, les utilisateurs traduisent les mouvements réels de leur corps en mouvements d'un avatar. FBT permet beaucoup plus d’expression et de langage corporel que les utilisateurs de réalité virtuelle n’en auraient autrement. Le suivi complet du corps est extrêmement populaire sur les plateformes sociales de réalité virtuelle comme VRChat.

Le suivi complet du corps rend les activités comme la danse beaucoup plus dynamiques dans VRChat. Source des images.

Si l’objectif est d’avoir une plus grande liberté de mouvement et une plus grande immersion en VR, il existe trois approches :

• Suivi basé sur les phares : Vive, trackers Tundra, mesurés par des stations de base externes.

• Suivi de l'unité de mesure inertielle (IMU) : toutes les mesures sont effectuées en interne par des capteurs embarqués.

• Estimation du corps entier : une alternative au suivi du corps entier qui calcule les positions les plus probables du corps sur la base d'informations limitées.

  
  

Examinons de plus près chaque exemple pour voir les avantages et les inconvénients ainsi que leur potentiel.

Suivi des phares

La solution de suivi corporel complet pour la réalité virtuelle la plus populaire et la plus précise est le suivi des phares. Alimentés par des stations de base, la position des trackers attachés à votre corps est mesurée par ligne de mire. Vive et Tundra sont les principaux fabricants dans ce domaine et sont connus pour être fiables et faciles à utiliser.

Cependant, le suivi basé sur un phare coûte cher. Non seulement les consommateurs doivent acheter des trackers pour des centaines de dollars chacun, mais ils ont également besoin de stations de base et d'étagères coûteuses sur lesquelles les installer. Le suivi basé sur Lighthouse peut être victime de problèmes d'occlusion, de sorte que les trackers ne peuvent pas être obscurcis par des vêtements ou d'autres objets comme des couvertures.

Suivi de l'unité de mesure inertielle (IMU)

Une technologie de plus en plus populaire pour la réalité virtuelle est le suivi IMU. Alimentés par des capteurs individuels, les trackers IMU ne nécessitent pas de stations de base pour fonctionner. Ils peuvent fonctionner entièrement sans fil et fonctionner sur batterie. Cependant, ils sont plus difficiles à installer et à exploiter. Les trackers IMU sont plus difficiles à configurer et sont sujets à dérive, nécessitant un recalibrage de temps en temps pendant les sessions.

Les trackers IMU ont l’avantage de ne nécessiter aucune ligne de vue. Cela signifie qu'ils peuvent être masqués par des vêtements ou d'autres objets. Cette technologie de suivi est moins chère mais il n’existe pas beaucoup d’options. Les trackers Mocopi de Sony sont disponibles dès maintenant mais sont assez chers. Malgré cela, les trackers Mocopi restent moins chers que les solutions de suivi basées sur des phares.

SlimeVR propose un micrologiciel pour l'ESP-32/8266 et une variété de matériel IMU différent.

L'étoile montante du suivi IMU est SlimeVR , un projet open source de suivi corporel complet. Avec SlimeVR, il est possible pour n'importe qui de créer son propre tracker IMU s'il dispose du bon matériel. Grâce à une campagne de financement participatif réussie, les clients peuvent commander dès maintenant des trackers SlimeVR prédéfinis. Cependant, les délais de livraison sont longs et prendront des mois. Il existe des alternatives qui utilisent le protocole SlimeVR. owoTrack est une application Android qui utilise les capteurs de votre téléphone Android comme tracker corporel complet.

Estimation du corps entier (FBE)

Bien qu'il ne s'agisse pas réellement d'un « suivi complet du corps », l'estimation du corps entier est une solution alternative aux deux options précédentes. Au lieu d'utiliser des trackers dédiés pour chaque partie de votre corps, FBE calcule la position de votre corps en fonction des données dont dispose déjà le programme. Généralement, cela se fait en utilisant la position de votre casque VR et de vos contrôleurs. Cependant, différentes approches peuvent utiliser quelque chose comme un capteur Xbox Kinect ou une webcam.

Standable est l'un des projets les plus populaires pour l'estimation du corps complet compatible avec SteamVR. Bien qu'il ne s'agisse pas d'un projet open source, sa compatibilité et sa facilité d'utilisation sont appréciées des utilisateurs, avec 74 % de ses avis sur Steam étant positifs. C'est une excellente option pour ceux qui ne peuvent pas se permettre des solutions de suivi plus coûteuses ou qui souhaitent simplement essayer quelque chose de plus précis pour mesurer leur corps en VR.

Meta a également adopté cette approche avec le Quest 3 avec sa fonction de « suivi complet du corps à l'envers », qui n'est en fait que FBE.

Quel est l’avenir du suivi corporel complet ?

Alors que l'intérêt des consommateurs pour le suivi corporel complet augmente et se stabilise, il est clair que la demande des consommateurs en matière de suivi corporel complet augmente. Ce qui est moins clair, c'est la réaction du marché. Trois variables auront un impact sur les choix d'achat des clients avec FBT :

• Difficulté de configuration

• Coût

• Précision et performances

  
  

La VR en tant qu’industrie commence à se remettre d’un creux de désillusion. Cependant, pour les passionnés de réalité virtuelle, la technologie de suivi complet du corps existe depuis longtemps, mais pas sous la forme la plus accessible aux consommateurs. Les trackers les plus simples et les plus performants nécessitent un investissement important.

Cependant, la montée en puissance des solutions IMU open source comme SlimeVR suggère de futures perturbations du marché. Si davantage d'entreprises entraient sur le marché et vendaient des solutions de suivi IMU à des prix compétitifs, performantes et pratiques, il y aurait beaucoup d'argent à gagner. La même chose peut être dite si une entreprise parvient à trouver un moyen de réduire le coût du suivi basé sur un phare.

Outre les solutions IMU, les méthodes d’estimation du corps entier s’améliorent. L’option la plus simple et la meilleure pour la plupart des gens est peut-être de ne pas utiliser de tracker du tout. Bien qu’imparfait, FBE constitue un excellent point de départ pour améliorer la qualité et l’immersion des expériences VR pour la plupart des utilisateurs.

Le temps nous dira comment le marché évoluera, mais avec les trackers financés par le crowdfunding de SlimeVR qui commencent enfin à être commercialisés, je suis vraiment curieux de savoir comment les entreprises répondront à la demande croissante de pouvoir donner un coup de pied à quelqu'un ou danser en VR.