Hyperreal oder Cartoonish: Die Schlüssel zu lebensechten Identitäten im Metaversum

Wenn Sie sich fragen, wie die Zukunft der simulierten Realität aussehen könnte, sollten Sie sich Blade Runner 2049 ansehen. In diesem Film gibt es eine unterschätzte Figur, deren wahre Bedeutung wir hinter dem hübschen Bild nicht einmal vollständig erkennen können – das idealisierte und tragbare Hologramm Joi mit einem benutzerdefinierten Avatar und Optionen zur Änderung ihres Aussehens in Echtzeit. Tatsächlich handelt es sich bei Joi um eine KI-Begleit-App, die mit Hilfe zusätzlicher Geräte in 3D gespielt werden kann, das fotorealistische 3D-Modell lässt sie jedoch real erscheinen. Der einzige Nachteil ist, dass Joi in der realen Welt nicht vollständig umgesetzt werden kann.

Ihre Hyperrealität bedeutet jedoch, dass sie viel mehr als nur eine Simulation ist – für die Protagonistin des Films ist sie eine reale Person. Sie ist seine Freundin. Und wenn wir sie im Film sehen, ignorieren wir auch ihre Künstlichkeit. Joi ist vielleicht das beste Beispiel dafür, was viele Menschen gerne in immersiven Räumen sein würden – perfekt, mit der Fähigkeit zum Schaffen ausgestattet und hyperrealistisch.

Aber wie kommen wir dorthin? Virtuelle Räume, die die Realität nachahmen, gibt es bereits, aber es gibt noch keine einheitliche Lösung, wie man seine Persönlichkeit in sie überträgt und eine hochwertige Darstellung beibehält. Es braucht Zeit, kostet viel Geld und ist daher für den Durchschnittsbenutzer nicht verfügbar.

Dennoch liegt die Erzielung hyperrealistischer virtueller Erlebnisse – insbesondere hyperrealistischer Avatare – in greifbarer Nähe. Wir brauchen lediglich ein besseres Verständnis dafür, wie unsere virtuellen und digitalen Identitäten mit dem Konzept der Hyperrealität verbunden sind, wie wir hyperrealistische Versionen von uns selbst für den digitalen Raum erstellen können und warum die Lösung des Problems über die hochwertige Visualisierung von Objekten und Objekten hinausgeht Räume.

Was ist Hyperrealität?

Wir erwägen hyperreale Dinge als digitale Objekte, die optisch nicht von der physischen Realität zu unterscheiden sind. Aufgrund ihrer digitalen Natur verfügen diese Objekte jedoch auch über Eigenschaften und Fähigkeiten, die in der physischen Welt möglicherweise nicht vorhanden sind. Diese Definition gilt für Avatare oder andere Darstellungen von Menschen (wie Joi aus Blade Runner 2049 ) sowie für alle fotorealistischen digitalen Inhalte – Filmstunts, Spiele und Spezialeffekte. Hyperrealität ist mehr als nur erweiterte Realität, die die Sinne täuscht, weil wir den Unterschied nicht spüren oder lieber nicht spüren.

Zur besseren Erklärung platzieren wir die Hyperrealität im Spektrum zwischen real und künstlich. Zu diesem Spektrum gehören auch Augmented und Virtual Reality, die jeweils ein unterschiedliches Erlebnis menschlicher Wahrnehmung ermöglichen.

• Virtuelle Realität ist eine vollständige digitale Darstellung einer imaginären Welt, die der Nutzer als eigenständiges Wissen erlebt, eine Alternative zur realen Welt.

• Augmented Reality ist eine gemischte Realität mit Elementen entweder der digitalen Welt oder der realen Welt. Es wird vom Benutzer als ein Erlebnis der Interaktion mit der digitalen Welt wahrgenommen, das zu einem stärkeren Eintauchen und dem Erzeugen eines Präsenzeffekts führt.

• Hyperrealität ist ein Erlebnis digitalen (künstlichen) Ursprungs, das die Realität nachahmt, vom Nutzer aber nicht als Spiel wahrgenommen wird. Im Gegenteil – es erweitert die Wahrnehmung der Realität.

  
  

Hyperrealität ist das wahre Leben, aber besser

​​Ich glaube, dass Hyperrealität ein Schlüsselaspekt bestimmter Erfahrungen im Metaversum und im zukünftigen Internet insgesamt sein wird. Ich stimme Tom Graham, CEO und Mitbegründer von Metaphysic, zu, der anmerkt, dass Menschen Hyperrealität bevorzugen, weil sie authentischere und emotional ansprechendere Erfahrungen ermöglicht. Dieser Übergang ist notwendig, um ein Metaversum zu eröffnen, das über Spiele und Unterhaltung hinausgeht und auch alltäglichere Angelegenheiten wie Arztbesuche oder Familientreffen umfasst.

Schon seit es das Internet gibt, haben sich Menschen vorgestellt, wie eine echte virtuelle Realität aussehen würde. Vor fast 25 Jahren beschrieb beispielsweise die Psychologin Sherry Turkle die Zukunft der menschlichen Identität in der Internetwelt mit dem Begriff MUD (Multi-User Dungeons), den wir heute Metaverse nennen: „MUDding ist mehr als nur ein Computerspiel; es ist Hyperrealität in voller Stärke.“

Und wie nimmt eine Person diese Welt wahr, wenn sie sich in einem virtuellen Raum befindet? Wer oder was sind sie? „Sie sind so real wie mein wirkliches Leben“, antwortete einer von Turkles Forschungsteilnehmern. „Ich kann jetzt ein Portfolio von Leben haben, in dem mein wirkliches Leben nur eines ist; RL [das wirkliche Leben] ist nur ein weiteres Fenster, und es ist normalerweise nicht mein bestes.“

Erstaunlicherweise beschrieben Menschen in den späten 1990er Jahren ihr Gefühl für den virtuellen Raum als ähnlich dem, was wir heute empfinden. Laut einer globalen Studie von Momentum Worldwide vom Juli 2022 fühlen sich Menschen im Metaversum stärker einbezogen als im wirklichen Leben. Der Bericht ergab außerdem, dass Verbraucher auf die virtuelle Erfahrung setzen, um drei Kernaspekte des Lebens auszufüllen: Inspiration, Individualität und Inklusion.

Eine digitale Kopie von sich selbst in die virtuelle Welt zu übertragen und alltägliche menschliche Erfahrungen zu machen, ist der nächste Durchbruch auf dem Weg zum Aufbau des Metaversums.

Tatsächlich glauben viele Menschen, dass Erfahrungen in der realen Welt irgendwann durch virtuelle ersetzt werden, und sie erwarten eine hyperreale Zukunft. Im Juni 2022 befragte McKinsey mehr als 3.400 Verbraucher auf der ganzen Welt und stellte fest, dass zwei Drittel davon begeistert sind, alltägliche Aktivitäten auf das Metaversum zu verlagern, insbesondere wenn es darum geht, mit Menschen in Kontakt zu treten, virtuelle Welten zu erkunden und mit Remote-Kollegen zusammenzuarbeiten.

Allerdings wird sich eine bestimmte Umgebung nur dann hyperreal anfühlen, wenn sie die reale Welt so gut wie möglich widerspiegelt. Nicht fiktiv und cartoonhaft, sondern real . Wie ein geschäftlicher Zoom-Anruf, aber in einem 3D-Büro mit Kollegen, oder wie ein Festival mit Freunden, aber in einem immersiven 3D-Raum. Wir haben bereits Spielumgebungen, in denen der Benutzer zu jedem werden kann, von einer Prinzessin bis zu einem Monster; Sie haben nichts technologisch Kompliziertes an sich.

Menschen, Orte und Dinge

Die nächste Herausforderung besteht darin, zu lernen, die reale Welt nachzubilden und uns in sie zu integrieren. Ein großer Teil von uns selbst ist natürlich unsere körperliche Erscheinung. Anders als bei modernen Inkarnationen sozialer Medien, bei denen Nutzer mit dem Bedürfnis ringen, perfekt oder „echt“ auszusehen (und dabei natürlich immer noch gut auszusehen), sollte Hyperrealität als eine Form der Stressreduzierung dienen. Wir sollten in der Lage sein, unsere digitalen Avatare zu modifizieren, ohne zu versuchen, unser buchstäbliches Selbst perfekt erscheinen zu lassen – egal, ob Sie wie ein Promi aussehen oder Sie selbst bleiben möchten, indem Sie Ihre persönlichen Merkmale bewahren.

Die Aufrechterhaltung der Fähigkeit, mit unserem Avatar das zu tun, was wir wollen, ist ein weiterer Schlüssel – Zähne wachsen lassen oder eine beliebige Haarfarbe wählen, Kleidung anziehen, die uns gefällt, oder sogar unsere Form in eine zoomorphe Form ändern. Im Idealfall ist es in der Virtualität genau so, wie wir es mögen.

Aber unsere Besitztümer definieren uns auch im wirklichen Leben, und das wird auch im Metaversum der Fall sein. Deshalb werden wir uns bemühen, unsere Besitztümer in die digitale Welt zu übertragen – zum Beispiel unsere Häuser, Autos, Turnschuhe oder sogar Lieblingstassen. Solche Dienste gibt es bereits. Verse Estate , eine Metaverse-Agentur, die sich auf die Erstellung hyperrealistischer, maßgeschneiderter Hausmodelle spezialisiert hat, ermöglicht es Kunden, digitale Assets, ihre Lieblingsmöbel oder Kunst hinzuzufügen, um ihr virtuelles Zuhause zu einem einzigartigen Ort zu machen.

Noch besser ist es, wenn Ihre Avatare, Besitztümer und Ihre allgemeine digitale Identität beim Übergang zwischen Welten oder Umgebungen interoperabel sind. Es gibt bereits einige Technologien, die dies ermöglichen, darunter Ready Player Me , das virtuelle Identitäten mit verschiedenen Plattformen interoperabel macht.

Zwischen Statischem und Expressivem liegt ein unheimliches Tal

Es wird jedoch schwierig sein, echte Hyperrealität zu erreichen, auch wenn sich einige der grundlegenden Fähigkeiten bis zu einem gewissen Grad weiterentwickeln. Die Lösung aller seiner Anforderungen und Herausforderungen – sowohl der technologischen als auch der geschäftlichen – liegt außerhalb der Möglichkeiten eines einzelnen Unternehmens oder Fachbereichs. Das Streben nach Perfektionierung menschlicher Grafiken fungiert als Mikrokosmos des größeren Feldes.

Als Meta den Start seiner Metaverse-Plattform ankündigte Horizontwelten Beispielsweise waren nicht alle mit der Qualität, den Details und dem Realismus von Mark Zuckerbergs Cartoon-Avatar zufrieden. Tatsächlich sind die meisten, wenn nicht alle aktuellen Visualisierungsversuche im Metaversum alles andere als hyperreal und können nicht mit denen beispielsweise in Massively Multiplayer Online-Rollenspielen verglichen werden. Dafür gibt es einen einfachen Grund: Wir wissen noch nicht, wie wir die unzähligen menschlichen Emotionen und Ausdrücke, die in lebensechten virtuellen Umgebungen verfügbar sein sollten, in denen Avatare in Echtzeit auf unvorhersehbare Reize reagieren, wiedergeben können.

Allerdings gibt es auf dem Markt eine Reihe von Tools zum Erstellen digitaler Avatare – von cartoonartigen wie CloneX und dem bereits erwähnten Ready Player Me bis hin zu den hyperrealistischsten, die von Charakterstudios wie Reblika und Hyperreal bereitgestellt werden. Diese Studios präsentieren die höchste Qualität hyperrealer Menschen für das Metaversum, allen voran die Unreal Engine neueste MetaHuman-Version , mit dem Gesichtsscans realer Personen importiert und automatisch ein digitales Gesicht generiert werden können. Um die digitale Kopie einer Person vollständig in 3D zu reproduzieren, müssen Sie jedoch viel Zeit damit verbringen, mit Hautfarbe, Haaren und anderen Details zu spielen, selbst wenn Sie ein professioneller Designer sind.

Ich würde diese wunderschönen, realistischen digitalen Menschen mit einem sehr teuren Auto vergleichen, das das beste seiner Klasse ist, das man aber nur im Urlaub und auf einer geraden, ebenen Straße fahren kann. Wir werden nicht in der Lage sein, dieselben Werkzeuge und Herangehensweisen zu verwenden, um hyperrealistische digitale Menschen für eine sich schnell verändernde, dynamische Umgebung zu schaffen, wie wir es mit statischem Realismus tun. Es ist immer noch zu schwer und komplex, um alle Herausforderungen des Echtzeit-Renderings im großen Maßstab innerhalb des Metaversums zu meistern.

Allerdings erst kürzlich: Meta's Reality Labs gehänselt seine neuesten Verbesserungen im Codec Avatars 2.0-Projekt – Prototypen von VR-Avataren unter Verwendung fortschrittlicher Techniken des maschinellen Lernens. Die neuen Avatare sehen aus sehr hyperrealistisch und können sogar Emotionen ausdrücken , aber sie sind nicht nur das Ergebnis der Arbeit neuronaler Netze. Eine solche Qualität erfordert beispielsweise immer noch das Scannen mit 3D-Kameras, die aus mehreren Gründen in absehbarer Zeit wahrscheinlich keine breite Akzeptanz finden werden.

Insgesamt ist die größte Hürde die Berechnung, denn je näher man der Hyperrealität kommt, desto mehr Leistung und Zeit benötigt man.

Um beispielsweise den Realismus um 1 % zu steigern, müssen Sie fünfmal so viel berechnen.

Die eigentliche Herausforderung für Unternehmen im Metaversum besteht also darin, das unheimliche Tal der Gesichtsdarstellung zu lösen, das zu Menschen führt, die echt, aber auch unnatürlich und gruselig aussehen, weil etwas einfach nicht stimmt .

Der Uncanny-Valley-Effekt macht sich noch deutlicher bemerkbar, wenn wir das Metaversum über ein immersives Gerät wie ein VR-Headset erleben. Wir können einige Fehler in der Grafik von Videospielen auf einem Flachbildschirm verzeihen, aber glauben Sie mir, Sie möchten nicht erleben, wie sich jemandes Bein (zumindest unbeabsichtigt) von seinem Körper löst, während er ein XR-Headset verwendet, oder Gesichtsbewegungen sehen, die nicht mithalten mit direkter Rede. Daher muss die Technologie – vom Netzwerk bis zum Gerät selbst – hochgradig optimiert sein, um ein Rendern auf dem Gerät in Echtzeit zu ermöglichen. Wir müssen einen praktikablen Kompromiss zwischen Benutzergewohnheiten, Gerätefunktionen und der Aufrechterhaltung eines hyperrealistischen Immersionseffekts finden.

Neuronales Rendering ist vielversprechend

Wenn wir über weniger hochwertige, aber schnellere technologische Lösungen zur Erstellung realistischer 3D-Charaktere sprechen, sollten wir uns die Methode der neuronalen Strahlungsfelder (NeRFs) ansehen. Die NeRF-Methodik wurde erstmals 2020 von Forschern von Google Research und der UC Berkeley auf der jährlichen European Conference on Computer Vision beschrieben . Im Jahr 2022 kam es zu einer neuen Diskussionswelle über diese Technologie, nachdem Nvidia offiziell sein Instant NeRF vorstellte – ein neuronales Rendering-Modell, das mehrere 2D-Bilder ohne Kamerascan in 3D-Szenen umwandeln kann. Im Gegensatz zur klassischen Polygonmodellierung reproduziert das neuronale Rendering eine 3D-Szene ausschließlich auf Basis von Optik und linearer Algebra. Laut Nvidia lassen sich damit „Avatare oder Szenen für virtuelle Welten erstellen, Videokonferenzteilnehmer und ihre Umgebungen in 3D erfassen oder Szenen für digitale 3D-Karten rekonstruieren“.

Der Hauptvorteil des neuronalen Renderings ist seine Skalierbarkeit. Bisher hat das Erlernen des Modells lange gedauert, und seine Rendergeschwindigkeit bleibt der wichtigste Torwächter für den Markteintritt, aber die KI ist in Bezug auf die Optimierung viel flexibler. Neuronale Netze benötigen einfach mehr Zeit und Daten, um immer bessere Ergebnisse zu erzielen. Ich denke, wir werden bald das Aufkommen neuer Wege zur Optimierung und Kommerzialisierung des neuronalen Renderings beobachten, sodass jeder ein paar Selfies auf einem Smartphone machen und seine virtuelle 3D-Kopie erhalten kann, um an einem hyperrealen 3D-Raum teilzunehmen.

Es ist technologisch komplexer, aber ich glaube, dass es in Zukunft einen großen Markt für virtuelle Welten geben wird, die hyperrealistisch sind, zusätzlich zu denen, die cartoonhaft oder spielähnlich sind. Und obwohl wir von einer Zukunft sprechen, die noch nicht ganz da ist, bewährt sich maschinelles Lernen erneut in einem neuen Bereich. Es könnte eine wichtige Rolle bei der Schaffung der hyperrealen Magie des Metaversums spielen.

Wenn Sie sich etwas eingehender mit dem Thema befassen möchten, habe ich eine Liste mit interessanten Artikeln zur Erstellung digitaler Identitäten, Grafikentwicklung, neuronalem Rendering und mehr erstellt:

• Double Negative liefert den Joi von „Blade Runner 2049“ : Für CGI-Freaks. Ein Artikel von Dan Sarto darüber, wie VFX-Experte Paul Lambert den holografischen Joi und andere Cyberpunk-Sachen und Visuals für Blade Runner 2049 erstellt hat.

  
  

• Synthetische Gesichter erschließen einen neuen Markt – und der ist furchtbar gut : Eine solide Erklärung für die Entwicklung des digitalen Gesichts. Mein Artikel darüber, wie Technologie unser Gesicht verändert und warum diese Transformationen heute notwendig sind. Zunächst einmal das Rätsel, ob KI ein Bild schaffen kann, das das Vertrauen von Millionen verdient.

  
  

• Die soziale Wahrnehmung virtueller Avatare durch den Einzelnen, verkörpert durch ihre gewohnheitsmäßigen Gesichtsausdrücke und ihr Gesichtsaussehen : Die im Jahr 2021 durchgeführte eingehende Forschung konzentrierte sich auf die Verbesserung des realistischen Ausdrucks und der nonverbalen Kommunikationskanäle virtueller Charaktere, um ein individuelleres Erlebnis zu schaffen.

• Blaine O'neills Minting Faces in Latent Spaces : In diesem Artikel geht es darum, wie William Wiebe Avatare überdenkt, die für die Infrastruktur des Metaversums generiert wurden, und dabei die darin verankerten Präferenzen offenlegt.

• Warum Fortschritte im neuronalen 3D-Rendering nicht auf den Markt kommen : Ein großartiger Artikel von meinem Kollegen und Reface-Mitbegründer Oles Petriv, der die technischen Aspekte des neuronalen Renderings auf dem Weg zur sofortigen Erstellung fotorealistischer 3D-Objekte erklärt.

  
  

• Menschenzentriertes Mechanismusdesign mit demokratischer KI : Hier geht es mehr um die Lösung von KI und es geht fast nicht zum Thema, aber beim Strukturieren meines Artikels hat es mir Spaß gemacht, DeepMinds Proof-of-Concept-Demonstration für Deep Reinforcement Learning zu erkunden, die sich mit einer der wichtigsten Herausforderungen in der KI-Forschung befasst.