Comment Mawari révolutionne la diffusion de contenu 3D

Ishan Pandey : Bonjour Luis, bienvenue dans notre série d'interviews. La mission de Mawari est de démocratiser l'informatique spatiale grâce à la technologie de streaming dans le cloud. Pouvez-vous nous raconter l'histoire de la fondation de Mawari et comment votre vision a évolué depuis 2017 ?

Luis Oscar Ramirez : Merci, Ishan. Avec de nombreux brevets à notre actif, plus de 40 activations commerciales dans le monde et une reconnaissance en tant que première solution de streaming spatial et réseau de diffusion de contenu au monde, Mawari pourrait sembler avoir connu un succès immédiat. Mais mettons les choses au clair : ce voyage a commencé à Shibuya en 2017, et ce n'était pas du tout facile. Ce qui semble être une percée instantanée aujourd'hui est en fait l'aboutissement d'années de R&D acharnée, d'innovation inlassable et de dévouement sans faille.

Nous avions imaginé le futur avant qu'il n'arrive. Notre principe fondateur était simple mais radical : les médias « encadrés », c'est-à-dire les contenus confinés dans des écrans, allaient évoluer vers des médias « sans cadre », intégrant de manière transparente des objets virtuels qui interagissent avec le monde réel et avec vous. Ce n'est pas seulement un concept, c'est un changement de paradigme dans la façon dont nous interagissons avec les mondes physique et numérique, une révolution « phygital ». Mawari, qui signifie « votre environnement » ou « regardez autour de vous » en japonais, résume parfaitement notre mission de démanteler ces cadres et de réimaginer ce qui est possible. Cependant, la véritable inspiration est venue en 2016 avec la cofondation de MUTEK Japan.

Ce festival était bien plus qu’un simple festival d’arts numériques : c’était une frontière pour l’expérimentation de médias émergents et de pointe. En 2017, nous avons vu des artistes explorer le domaine naissant de la réalité virtuelle, repoussant les limites du possible. Mais nous avons également vu les défis considérables auxquels ils étaient confrontés : l’intensité des données, la puissance de calcul requise et la difficulté de faire évoluer ces expériences. Il est devenu évident que la prochaine génération de divertissement avait besoin de quelqu’un pour briser ces barrières. Nous avons choisi d’être cette personne. Dès le premier jour, notre mission était claire comme de l’eau de roche : rendre les médias 3D/informatique spatiale accessibles à tous. En 2018, notre vision a trouvé son défi déterminant.

KDDI, un géant des télécommunications, a développé l’un des premiers humains numériques alimentés par l’IA, nommé Aiko, rendu avec un réalisme époustouflant grâce à Unreal Engine 4. Elle a été conçue pour converser en temps réel, une concierge numérique destinée à vivre dans des lunettes de réalité augmentée et des smartphones. Mais voici le problème : aucun appareil mobile existant ne pouvait gérer l’immense puissance de calcul nécessaire à son rendu 3D en temps réel et à ses interactions pilotées par l’IA. C’était un problème qui réclamait une solution, un cas d’utilisation parfait pour Spatial Streaming. KDDI a lancé un appel d’offres pour diffuser Aiko en 3D sur des lunettes intelligentes, un défi qui aurait pu intimider même les plus grandes entreprises technologiques. Et c’est ce qu’elle a fait, à l’exception de Mawari, une startup de trois personnes.

Contre toute attente, nous avons gagné. En nous mesurant aux grands acteurs de la technologie, nous, les David de cette histoire, avons vaincu le Goliath du monde de la technologie. Ce fut notre moment « Aha ». Mon cofondateur Aleksandr Borisov et moi-même avons réalisé que nous pouvions réaliser ce que d’autres pensaient impossible. En intégrant et en adaptant plusieurs technologies de pointe, nous avons diffusé Aiko en temps réel, en 3D. Mais nous avons vite reconnu une dure réalité : la pile technologique et l’infrastructure de pointe constituaient une impasse pour nos ambitions.

Nous avons dû nous débrouiller seuls pour résoudre les problèmes de latence et de bande passante. Sans aide extérieure, nous avons dû tout repenser, du rendu à l’encodage, en passant par le streaming et le décodage du contenu 3D, non pas par des moyens traditionnels, mais par une approche nouvelle et innovante. Cela a conduit à la création de notre technologie de base : le moteur Mawari et son SDK Spatial Streaming, natif de l’informatique spatiale et de la réalité augmentée.

Lorsque nous avons commencé le déploiement commercial, nous avons constaté une adoption rapide, mais nous nous sommes également heurtés à un autre obstacle : l'évolutivité. Même les hyperscalers les plus puissants comme AWS n'ont pas pu nous aider à atteindre l'échelle dont nous avions besoin. Les centres de données et les réseaux de diffusion de contenu existants n'étaient pas conçus pour le streaming spatial en temps réel.

En 2021, nous avons dû prendre une autre décision cruciale : attendre que les hyperscalers finissent par nous rattraper ou tracer notre propre voie. Nous avons choisi la seconde option. Nous avons construit le réseau Mawari, le premier et le seul réseau d'infrastructure physique décentralisé (DePIN) au monde qui orchestre le stockage, la bande passante et le rendu en temps réel pour le calcul spatial. Alimenté par la blockchain, il permet à une communauté mondiale de partenaires de distribution de participer à cette vision.

Notre mission n'a jamais faibli. Nous nous attaquons à tous les obstacles techniques pour y parvenir. Et notre vision ? Elle est claire comme de l'eau de roche et toujours aussi audacieuse : nous n'évoluons pas seulement avec l'industrie ; nous définissons sa voie.

Ishan Pandey : La technologie de rendu 3D fractionné et le CODEC de streaming 3D de Mawari répondent à des défis importants dans le domaine de l'informatique spatiale. Pouvez-vous expliquer comment fonctionnent ces technologies et pourquoi elles sont cruciales pour l'avenir des expériences XR ?

Luis Oscar Ramirez : Pourquoi le streaming spatial est-il important ? Pensez-y : lorsque vous appuyez sur lecture sur Netflix, un film 4K apparaît sur votre téléviseur ou votre smartphone presque instantanément. Nous n'y pensons même plus ; cela fait désormais partie de notre vie quotidienne. Mais voici la dure réalité : avant Mawari, le contenu spatial ne pouvait pas être diffusé à grande échelle avec la qualité et l'immédiateté que nous attendons de services comme Netflix ou YouTube. C'est le problème majeur. La technologie de Mawari permet de réaliser quelque chose d'extraordinaire. Nous apportons la même expérience fluide au contenu spatial : pas de téléchargement, pas d'attente, pas de limitation de stockage. Tout comme vous écoutez de la musique ou regardez un film aujourd'hui : sans effort, immédiatement.

Nous éliminons les frictions en rendant le streaming dynamique d'expériences spatiales accessible à tout moment, n'importe où et pour tout le monde. Comment cela fonctionne-t-il ? Comme je l'ai mentionné plus tôt, la technologie de Mawari est conçue pour être native de l'informatique spatiale, un domaine qui présente des défis et des opportunités uniques. Tout d'abord, considérons la nature des expériences d'informatique spatiale : elles combinent du contenu 2D et 3D. Si nous avons perfectionné l'art de diffuser du contenu 2D avec des technologies et des CODEC efficaces, il n'en va pas de même pour la 3D. C'est là qu'intervient Mawari. Nous avons créé une technologie révolutionnaire spécialement conçue pour diffuser efficacement du contenu 3D / immersif, en l'intégrant de manière transparente dans des expériences spatiales grâce à notre format breveté.

Passons maintenant au cœur du problème : si vous souhaitez diffuser une expérience spatiale complète, vous devez gérer bien plus que du contenu 2D et 3D. Vous devez également gérer des éléments de calcul spatial, c'est-à-dire les calculs en temps réel qu'un appareil effectue pour vous positionner, vous et le contenu, dans le monde réel. Étant donné que ces appareils agissent essentiellement comme une fenêtre d'affichage pour vos yeux, ils nécessitent une latence ultra-faible. La diffusion de ces éléments sur un réseau les rend très sensibles aux retards. En cas de problème, vous n'obtenez pas seulement une icône de mise en mémoire tampon. Vous obtenez un verrouillage de l'écran, ce qui n'est pas seulement ennuyeux ; cela peut entraîner le mal des transports et une expérience médiocre. Avec le contenu 2D, la mise en mémoire tampon n'est qu'un inconvénient. Mais dans le calcul spatial, c'est un problème critique qui affecte physiquement l'utilisateur.

C'est pourquoi nous pensons que certains éléments doivent être traités ou restitués directement sur l'appareil : les calculs de calcul spatial et les éléments 2D de base comme les composants de l'interface utilisateur (boutons, menus, etc.). Et c'est là que notre technologie de rendu fractionné fait la différence. Nous permettons à ces éléments critiques d'être restitués sur l'appareil lui-même, tandis que le contenu 3D riche et dynamique est diffusé à partir du réseau Mawari. Pensez-y de cette façon : avec Netflix, vous téléchargez le framework de l'application, mais vous diffusez le contenu. Nous appliquons ici la même logique, en supprimant les frictions et en offrant une expérience fluide. Cette approche élimine les obstacles traditionnels : pas de téléchargement, pas de problèmes de stockage, juste un streaming fluide et en temps réel. Pour résumer : nous diffusons du contenu 3D / immersif dans une expérience spatiale exécutée sur un appareil équipé de la technologie de rendu fractionné de Mawari.

C’est ainsi que ces deux technologies fonctionnent main dans la main pour créer une expérience utilisateur parfaite. Et il y a un autre aspect révolutionnaire de notre technologie de rendu fractionné : le streaming sensible au contexte. Cette fonctionnalité, appelée occlusion, vous permet de placer le contenu diffusé avec précision dans le monde réel. Imaginez un assistant IA assis en face de vous à une table ; vous vous attendriez à ne voir que la moitié supérieure de son corps, comme une vraie personne. Si nous diffusions l’expérience dans son intégralité, il serait impossible d’atteindre ce niveau de réalisme contextuel. Cela ressemblerait à une superposition obsolète, rappelant les anciens jouets View-Master, bien loin du futur immersif que nous construisons.

Ishan Pandey : Le réseau Mawari #DePIN exploite des nœuds alimentés par GPU pour une diffusion efficace de contenu 3D en temps réel. En quoi cette approche décentralisée diffère-t-elle des réseaux de diffusion de contenu traditionnels et quels avantages offre-t-elle ?

Luis Oscar Ramirez : Mawari Network était un DePIN depuis sa création, car les approches centralisées et les réseaux de diffusion de contenu traditionnels n'étaient pas adaptés à l'évolution de notre solution de streaming spatial. C'est ce que j'ai défini comme un « DePIN axé sur un objectif ». Plus précisément, les réseaux de diffusion de contenu traditionnels distribuent le contenu sur ses nœuds, ce contenu ne nécessite pas de calcul après le traitement de la source initiale, cependant, lorsqu'il s'agit de streaming 3D en temps réel, nous devons distribuer le calcul et le stockage (fichier source) sur les nœuds du réseau.

Cela signifie que nous avons besoin d'une flotte de nœuds GPU assez distribuée et proche de l'utilisateur final pour garantir une latence aller-retour optimale vers l'appareil de l'utilisateur final. De plus, nous pouvons interagir avec des réseaux programmables du dernier kilomètre pour garantir la qualité de service. Cette orchestration doit se produire en temps quasi réel et ce n'est pas quelque chose que les réseaux centralisés/traditionnels offrent aujourd'hui.

Plus important encore, les hyperscalers ont investi des milliards de dollars dans leur architecture d'infrastructure actuelle, aucun directeur financier de ces organisations n'approuvera de nouvelles installations spécialement conçues pour le streaming spatial jusqu'à ce qu'il y ait une période de retour sur investissement calculable - en d'autres termes, une demande suffisante pour justifier des milliards, voire des milliers de milliards d'investissement dans cette nouvelle infrastructure - c'est du web2 classique.

Avec une nouvelle architecture et l'utilisation de DePIN comme approche, Mawari supprime le fardeau du CaPex en tirant parti de l'énorme quantité de nœuds GPU existants à travers le monde et en créant une communauté mondiale de partenaires qui contribuent des ressources pour faire évoluer rapidement un réseau mondial de diffusion de contenu qui, encore une fois, contrairement aux CDN et aux services cloud traditionnels, n'est pas alimenté par des contrats papier mais par la blockchain - une technologie du 21e siècle qui permet une révolution du 21e siècle dans le contenu et l'expérience immersive. La blockchain fournit non seulement un suivi fiable des performances, mais également une gestion programmatique des performances et une distribution automatique de récompenses financières équitables à tous les partenaires.

Ishan Pandey : Vous avez mentionné que les consommateurs s'attendent à ce que le contenu multimédia soit diffusé en continu de manière fiable, comme avec Netflix. Comment Mawari s'efforce-t-il d'apporter ce niveau de streaming fluide à l'espace XR ?

Luis Oscar Ramirez : C'est une excellente question, Ishan. Sur le plan technique, nous avons posé les fondations, créé la technologie et orchestré les ressources nécessaires pour répondre aux attentes élevées des consommateurs d'aujourd'hui. Nous restons concentrés sur l'innovation continue à mesure que les appareils de calcul spatial évoluent. Mais soyons clairs : nous ne créons pas le contenu nous-mêmes. C'est là qu'intervient notre collaboration avec les développeurs et les créateurs de contenu.

Nous travaillons en étroite collaboration avec des artistes visionnaires, des propriétaires de propriété intellectuelle, des entrepreneurs et des marques. Il s’agit d’un partenariat, d’une collaboration dans laquelle nous associons notre technologie de pointe et notre expérience pratique à leur vision créative. Notre mission est claire : permettre aux développeurs et aux créateurs de créer des expériences spatiales époustouflantes qui captivent leur public. Pourquoi ? Parce que nous pensons que la première rencontre d’un consommateur avec la technologie spatiale ne doit être rien de moins que magique, elle doit créer ce moment « wow » qui conduit à un effet d’entraînement d’enthousiasme et d’adoption. En ce qui concerne la mise à l’échelle, nous observons une trajectoire similaire à celle des jeux vidéo.

Vous vous souvenez de la façon dont les jeux vidéo ont commencé à gagner du terrain dans les salles d'arcade géolocalisées avant de s'installer à la maison et d'évoluer finalement vers une culture en ligne massive avec l'e-sport et les streamers ? Nous pensons que l'informatique spatiale suivra un chemin similaire. C'est pourquoi nous encourageons nos partenaires à lancer initialement leurs expériences dans les salles d'arcade LBX (location-based experience), où les gens peuvent découvrir cette technologie en direct.

Prenons par exemple notre performance XR au Mutek Japan. Ce n’était pas un simple spectacle, c’était une expérience fascinante. Un chorégraphe de renom, Hiroaki Umeda, s’est associé à MXR, un outil de graphisme animé 3D en temps réel utilisant Unreal Engine 5. En intégrant notre SDK de streaming spatial, MXR a donné vie à quelque chose de vraiment extraordinaire : une performance qui synchronisait parfaitement le mapping vidéo, le son et le contenu spatial en temps réel.

Étude de cas → Mawari x MXR présentent : Assimilating XR par Hiroaki Umeda

Et les résultats parlent d'eux-mêmes

Les expériences spatiales sont prêtes à être diffusées en prime time : fini les gadgets.

Le public est avide de contenu nouveau et engageant. Ce spectacle a vendu tous ses billets en moins d'une journée, avec un prix de 20 $ pour une représentation de 7 minutes. 96 % des participants étaient satisfaits et 71 % des nouveaux utilisateurs ont trouvé une valeur significative et ont déclaré qu'ils le recommanderaient à leurs amis et à leur famille. C'est ainsi que vous déclenchez l'effet volant d'inertie. Vous créez des expériences inoubliables, inspirez plus de créateurs et créez une dynamique pour l'ensemble de l'écosystème de l'informatique spatiale.

Ishan Pandey : Mawari a développé un SDK de streaming spatial pour les développeurs et le réseau Mawari pour la diffusion de contenu. Comment ces deux éléments fonctionnent-ils ensemble pour créer des expériences XR plus immersives et plus réactives ?

Luis Oscar Ramirez : Pensez-y comme au yin et au yang. Le SDK de streaming spatial et le réseau Mawari sont deux éléments essentiels d'un puissant écosystème. Sans le SDK, les créateurs et développeurs de contenu ne peuvent pas diffuser de contenu immersif de haute qualité sur des appareils spatiaux. Et sans le réseau Mawari, ils ne peuvent pas faire évoluer ces expériences pour atteindre un public mondial.

Voici comment cela fonctionne : le SDK est l'outil que nous proposons aux développeurs et aux créateurs de contenu, une passerelle pour libérer leur créativité et créer des expériences époustouflantes. Au fil des ans, nous avons appris une chose essentielle : les créateurs doivent se concentrer sur ce qu'ils font le mieux : être créatifs. Notre technologie s'occupe du reste, en supprimant tous les obstacles qui se dressent sur leur chemin et en simplifiant le processus.

Nous ne demandons pas aux développeurs de modifier leur façon de travailler. Notre SDK s'intègre directement à leurs flux de travail existants, qu'ils utilisent Unity ou Unreal Engine. Il s'agit d'un simple plug-in : nul besoin d'apprendre à utiliser de nouveaux outils ou de modifier ce qui fonctionne déjà. Du côté de l'orchestration cloud, c'est tout aussi simple. Tout ce que les créateurs doivent faire, c'est télécharger leur projet Unity ou Unreal Engine sur le réseau Mawari. À partir de là, nous gérons tout en arrière-plan, comme le font aujourd'hui les réseaux de diffusion de contenu 2D traditionnels.

Cette approche est axée sur l'efficacité et l'autonomisation. Elle élimine la nécessité pour les développeurs d'apprendre de nouveaux outils ou d'embaucher du personnel spécialisé pour le streaming cloud, DevOps ou la gestion du back-end. Ce qui prenait autrefois des semaines ou des mois à maîtriser et des jours à déployer est désormais réduit à un simple téléchargement. C'est ainsi que nous permettons aux développeurs de libérer leur créativité et de donner vie à leurs visions, plus rapidement et plus efficacement que jamais auparavant.

Ishan Pandey : L’industrie de la réalité étendue évolue rapidement. Quels sont, selon vous, les principaux défis et opportunités pour l’informatique spatiale et le streaming XR dans les 5 à 10 prochaines années ?

Luis Oscar Ramirez : Le secteur de l’informatique spatiale évolue rapidement, et cette évolution s’accompagne de défis importants et d’opportunités considérables pour les 5 à 10 prochaines années. L’un des plus grands défis auxquels nous sommes confrontés aujourd’hui est la faible pénétration des appareils spatiaux. Bien que cela puisse sembler être un obstacle, cela représente en fait une opportunité unique. À l’heure actuelle, le marché est grand ouvert, une toile vierge qui attend d’être remplie. Il n’y a pas encore d’acteur dominant, pas d’application phare qui définisse l’espace. C’est notre chance de nous libérer des monopoles traditionnels et de démocratiser la création et la distribution de contenu. C’est le moment idéal pour innover, explorer de nouvelles idées, développer des applications révolutionnaires et définir les normes de ce que l’informatique spatiale peut vraiment être.

C’est pourquoi la collaboration et une approche communautaire sont si cruciales. L’avenir de l’industrie spatiale ne sera pas construit par une seule entreprise ou une poignée d’acteurs : il faudra une communauté. Tout comme le mouvement open source a changé la donne pour les logiciels, une approche communautaire sera essentielle pour faire prospérer l’informatique spatiale. C’est là qu’intervient le réseau Mawari DePIN. Contrairement à d’autres marchés où les réseaux DePIN luttent contre des géants établis, l’informatique spatiale est une toile vierge. Cela donne au réseau Mawari DePIN une rare opportunité de devenir la norme pour le streaming spatial décentralisé et la diffusion de contenu immersif.

Mais nous ne pouvons pas ignorer la question de la monétisation pour les développeurs. À mesure que l’informatique spatiale évolue, les développeurs ont besoin de voies claires pour transformer leurs innovations en revenus. Chez Mawari, nous ne nous contentons pas de favoriser un écosystème ; nous guidons activement nos partenaires vers des stratégies de monétisation efficaces. Ce n’est pas une mince affaire : c’est un effort monumental qui pose les bases d’un écosystème robuste et durable qui soutient à la fois les créateurs et les consommateurs. En établissant de nouveaux modèles commerciaux et de nouvelles sources de revenus, nous ouvrons la voie à un écosystème spatial plus large et plus inclusif.

Si les défis sont nombreux, les opportunités sont encore plus grandes. La faible pénétration des appareils, l’absence d’application phare et la nécessité d’une approche collaborative ne sont pas seulement des obstacles. Ce sont les conditions qui permettent à de nouveaux leaders d’émerger, à de nouvelles idées de prendre racine et à de nouvelles normes d’être établies. Mawari est là pour saisir ces opportunités, pour mener la charge et pour façonner l’avenir de l’informatique spatiale.

Ishan Pandey : Mawari a déjà collaboré avec des entreprises comme KDDI pour des activations AR. Pouvez-vous nous parler de ces applications concrètes de votre technologie et de la manière dont elles ont façonné votre approche de la mise à l'échelle des expériences XR ?

Luis Oscar Ramirez : Les enseignements les plus précieux que nous avons tirés de notre déploiement commercial dans plus de 40 projets différents sont venus de notre technologie. Cette expérience concrète a été notre plus grande leçon. Elle nous a montré ce qui captive vraiment les consommateurs, ce qui les fait dire « Wow ! ». Elle nous a également appris à réduire les frictions qui accompagnent souvent l’adoption de nouvelles technologies et nous a aidés à comprendre quels modèles commerciaux prospèrent réellement dans ce secteur émergent. Deuxièmement, en mettant en œuvre notre propre technologie, nous avons appris ce dont les développeurs ont besoin pour rationaliser leurs processus et libérer leur créativité. Il s’agit de leur donner les bons outils pour innover sans se prendre la tête.

Notre accès précoce aux réseaux 5G et à leurs API, grâce à des partenariats avec KDDI, T-Mobile, Deutsche Telekom et Telefónica, a changé la donne. Cela nous a permis de voir ce qui fonctionne dans des conditions réelles de dernier kilomètre. Cette expérience nous a poussés à affiner notre technologie au-delà de l'environnement contrôlé d'un laboratoire, en tenant compte des réalités difficiles du déploiement auprès des consommateurs, où la tolérance aux erreurs est zéro.

Nos collaborations avec Qualcomm, Xreal et Magic Leap ont également été cruciales. L'accès précoce aux dispositifs spatiaux nous a permis de comprendre les détails les plus fins qui permettent à tout cela de fonctionner parfaitement ensemble. C'est cette compréhension approfondie, née de l'expérience pratique, qui nous permet de créer des solutions harmonieuses et révolutionnaires qui redéfinissent les possibilités de l'informatique spatiale.

N'oubliez pas d'aimer et de partager l'histoire !