Wie Ganzkörper-Tracking die soziale VR revolutioniert

Bildnachweis: HaritoraX-Tracker von Shiftall

Immersion ist eine der wichtigsten Komponenten von Virtual-Reality-Erlebnissen. Da Unternehmen ihre VR-Produkte durch die Betonung der Immersion aufwerten, sind die Erwartungen der Verbraucher höher denn je. Virtuelle Realität, eine 16,8-Milliarden-Dollar-Industrie , kann unwirkliche Erfahrungen schaffen, die in keinem anderen Medium reproduziert werden können. Je unnatürlicher es sich jedoch anfühlt, desto mehr nimmt es sie aus dieser Erfahrung heraus. Zu den wichtigsten Aspekten der Immersion in VR gehört unser eigener Körper. Hier kommt das Ganzkörper-Tracking ins Spiel. Lassen Sie uns darüber sprechen, wie Ganzkörper-Tracking und -Schätzung die Art und Weise verändern, wie wir soziale VR erleben und was sich am Horizont abzeichnet.

Wo sind meine Beine?

Während des Meta-Hype-Zyklus vor einigen Jahren war Immersion ein häufig diskutiertes Thema. Der Marketingschub für Metas Sprung in die virtuelle Realität versprach eine Welt, in die die Verbraucher vollständig eintauchen könnten. Nachdem die Kosten für Quest 2 subventioniert wurden, um es bis Juni 2022 in die Hände von 14,8 Millionen Menschen zu bringen, erreichte die Ernüchterung durch das Eintauchen schnell ihren Tiefpunkt einsetzen.

Die VR-Hardware-Umfrage von Steam vom Dezember 2023 zeigt, dass das Oculus Quest 2 das am häufigsten verwendete Headset für ihre PC-VR-Plattform ist.

Abgesehen von den Cartoon-Grafiken, die zur Unterstützung eigenständiger Quest 2-Hardware erforderlich waren, war für viele Menschen das Fehlen von Beinen das wichtigste Detail. Mit nur Informationen von Headset-Kameras und Controller-Positionen kann die Posenschätzung nur begrenzte Ergebnisse bringen. Allerdings sehnten sich die Verbraucher natürlich nach mehr.

Daten von Google Trends zeigen, dass das Interesse an Ganzkörper-Tracking-Suchen in den letzten fünf Jahren stark zugenommen hat. Seit 2022 ist es immer wieder gestiegen und hat sich stabilisiert, was zeigt, dass sich Verbraucher für das Thema interessieren. Da IMU-Tracking wie SlimeVR gerade erst an Unterstützer ausgeliefert wird, ist jetzt ein entscheidender Moment für Startups, sich durch die Entwicklung und Veröffentlichung von Trackern zur Unterstützung von Social-VR-Benutzern von der Konkurrenz abzuheben. Doch was ist Ganzkörper-Tracking und warum wollen die Leute es so sehr?

Was ist Ganzkörper-Tracking?

Wenn VR-Enthusiasten eine präzise Verfolgung der Beine wünschen, werden sie überrascht sein, dass dies für Verbraucher seit vielen Jahren zugänglich ist. Vive brachte 2017 seine ersten Basisstation-fähigen Tracker auf den Markt. Ursprünglich vermarktet, um die Verfolgung realer Objekte in VR zu ermöglichen, wurde es bald von Spielern übernommen, um Körperteile wie Beine, Knie, Ellbogen und Brust zu verfolgen.

Full Body Tracking (FBT) ermöglicht VR-Benutzern und Motion-Capture-Künstlern, so viel wie möglich von ihrem Körper zu verfolgen. In beiden Fällen übersetzen Benutzer die Bewegungen ihres Körpers in der realen Welt in die Bewegungen eines Avatars. FBT ermöglicht viel mehr Ausdruck und Körpersprache, als VR-Benutzer sonst möglicherweise hätten. Ganzkörper-Tracking ist auf sozialen VR-Plattformen wie VRChat äußerst beliebt.

Ganzkörper-Tracking macht Aktivitäten wie Tanzen in VRChat viel dynamischer. Bildquelle.

Wenn das Ziel eine größere Bewegungsfreiheit und Immersion in VR ist, gibt es drei Ansätze:

• Leuchtturmbasiertes Tracking: Vive- und Tundra-Tracker, gemessen von externen Basisstationen.

• Inertial Measurement Unit (IMU)-Tracking: Alle Messungen werden intern durch integrierte Sensoren durchgeführt.

• Ganzkörperschätzung: Eine Alternative zur Ganzkörperverfolgung, die auf der Grundlage begrenzter Informationen die wahrscheinlichsten Positionen des Körpers berechnet.

  
  

Schauen wir uns jedes Beispiel genauer an, um die Vor- und Nachteile und ihr Potenzial zu erkennen.

Leuchtturmverfolgung

Die beliebteste und genaueste Ganzkörper-Tracking-Lösung für VR auf Verbraucherebene ist das Leuchtturm-Tracking. Angetrieben von Basisstationen wird die Position der an Ihrem Körper befestigten Tracker anhand der Sichtlinie gemessen. Vive und Tundra sind die wichtigsten Hersteller in diesem Bereich und bekannt für ihre Zuverlässigkeit und Benutzerfreundlichkeit.

Allerdings ist leuchtturmbasiertes Tracking teuer. Verbraucher müssen nicht nur Tracker für Hunderte von Dollar pro Stück kaufen, sie benötigen auch teure Basisstationen und Regale, auf denen sie montiert werden können. Bei der leuchtturmbasierten Ortung kann es zu Okklusionsproblemen kommen, sodass Tracker nicht durch Kleidung oder andere Gegenstände wie Decken verdeckt werden können.

Verfolgung der Inertial Measurement Unit (IMU).

Eine Technologie, die für VR immer beliebter wird, ist das IMU-Tracking. Angetrieben durch einzelne Sensoren benötigen IMU-Tracker keine Basisstationen, um zu funktionieren. Sie können vollständig kabellos und batteriebetrieben sein. Allerdings sind sie schwieriger zu installieren und zu bedienen. IMU-Tracker sind schwieriger einzurichten und neigen zu Abweichungen, sodass während der Sitzungen von Zeit zu Zeit eine Neukalibrierung erforderlich ist.

IMU-Tracker haben den Vorteil, dass sie keine Sichtverbindung benötigen. Das bedeutet, dass sie durch Kleidung oder andere Gegenstände verdeckt werden können. Diese Tracking-Technologie ist günstiger, aber es gibt nicht viele Optionen. Die Mocopi-Tracker von Sony sind ab sofort erhältlich, aber ziemlich teuer. Trotzdem sind Mocopi-Tracker immer noch günstiger als leuchtturmbasierte Tracking-Lösungen.

SlimeVR verfügt über Firmware für den ESP-32/8266 und eine Vielzahl unterschiedlicher IMU-Hardware.

Der aufstrebende Stern des IMU-Trackings ist SlimeVR , ein Open-Source-Ganzkörper-Tracking-Projekt. Mit SlimeVR ist es jedem möglich, seinen eigenen IMU-Tracker zu erstellen, wenn er über die richtige Hardware verfügt. Dank einer erfolgreichen Crowdfunding-Kampagne können Kunden ab sofort vorgefertigte SlimeVR-Tracker bestellen. Allerdings sind die Lieferzeiten lang und die Abwicklung kann Monate dauern. Es gibt einige Alternativen, die das SlimeVR-Protokoll verwenden. owoTrack ist eine Android-App, die die Sensoren Ihres Android-Telefons als Ganzkörper-Tracker nutzt.

Ganzkörperschätzung (FBE)

Obwohl es sich nicht wirklich um ein „Ganzkörper-Tracking“ handelt, ist die Ganzkörperschätzung eine alternative Lösung zu den beiden vorherigen Optionen. Anstatt für jeden Teil Ihres Körpers spezielle Tracker zu verwenden, berechnet FBE die Position Ihres Körpers auf der Grundlage der Daten, die dem Programm bereits vorliegen. Im Allgemeinen erfolgt dies anhand der Position Ihres VR-Headsets und Ihrer Controller. Bei anderen Ansätzen könnte jedoch beispielsweise ein Xbox Kinect-Sensor oder eine Webcam zum Einsatz kommen.

Standable ist eines der beliebtesten Projekte zur Ganzkörperschätzung, die mit SteamVR kompatibel ist. Obwohl es sich nicht um ein Open-Source-Projekt handelt, sind seine Kompatibilität und Benutzerfreundlichkeit bei den Benutzern beliebt: 74 % der Bewertungen auf Steam sind positiv. Es ist eine großartige Option für diejenigen, die sich teurere Tracking-Lösungen nicht leisten können oder einfach etwas Genaueres zur Messung ihres Körpers in VR ausprobieren möchten.

Meta hat diesen Ansatz auch beim Quest 3 mit seiner „Inside Out Full Body Tracking“-Funktion gewählt, die eigentlich nur FBE ist.

Was ist die Zukunft des Ganzkörper-Trackings?

Da das Verbraucherinteresse am Ganzkörper-Tracking steigt und sich stabilisiert, ist klar, dass die Nachfrage der Verbraucher nach Ganzkörper-Tracking steigt. Weniger klar ist, wie der Markt reagieren wird. Es gibt drei Variablen, die sich auf die Kaufentscheidungen der Kunden bei FBT auswirken:

• Schwierigkeiten bei der Einrichtung

• Kosten

• Genauigkeit und Leistung

  
  

Die VR-Branche erholt sich allmählich von einem Tiefpunkt der Ernüchterung. Für VR-Enthusiasten gibt es die Technologie zur Ganzkörperverfolgung jedoch schon seit langem, allerdings nicht in einer Form, die für Verbraucher am einfachsten zugänglich war. Die einfachsten und leistungsstärksten Tracker erfordern eine erhebliche Investition.

Der Aufstieg von Open-Source-IMU-Lösungen wie SlimeVR deutet jedoch auf zukünftige Marktstörungen hin. Wenn mehr Unternehmen in den Markt eintreten und preislich wettbewerbsfähige IMU-Tracking-Lösungen mit hoher Leistung und Komfort verkaufen würden, ließe sich viel Geld verdienen. Das Gleiche gilt, wenn es einem Unternehmen gelingt, die Kosten für leuchtturmbasiertes Tracking zu senken.

Neben IMU-Lösungen verbessern sich auch die Methoden zur Ganzkörperschätzung. Die vielleicht einfachste und beste Option für die meisten Menschen wäre, überhaupt keinen Tracker zu verwenden. Obwohl unvollkommen, ist FBE für die meisten Benutzer ein guter Ausgangspunkt, um die Qualität und das Eintauchen in VR-Erlebnisse zu verbessern.

Die Zeit wird zeigen, wie sich der Markt verändert, aber da die Crowdfunding-Tracker von SlimeVR endlich auf den Markt kommen, bin ich auf jeden Fall gespannt, wie Unternehmen auf die steigende Nachfrage nach der Möglichkeit reagieren werden, jemandem ins Gesicht zu treten oder in VR zu tanzen.