フェイシャル コンピューティング: パーソナル XR の簡単な歴史と有望な未来

毎年6月、 Appleが年次ワールドワイド・デベロッパー・カンファレンス（WWDC、または「ダブダブ」）を主催するため、世界中のテクノロジー仲間、年金ポートフォリオ・マネージャー、Twitterのスレッド主がサンタクララに注目する。

とりわけ、ダブダブは、Apple のユビキタス消費者向けテクノロジのほぼすべての誕生の場として最もよく知られています。オリジナルの iPhone、iPad、Apple Watch、Apple TV とその後のアップグレードがすべてこのイベントで発表されました。

今年、この安定したコンシューマ デバイスに、2015 年以来初めてまったく新しい製品が加わりました。その新製品が VisionPro です。

VisionPro や Apple の拡張現実の将来に対するビジョンについて、 TwitterやLinkedIn 、インターネット全体をざっと閲覧しただけでは語れないことは何もありません。この記事のポイントは、代わりに次のことを観察してみることです。

1. 私たちがどのようにしてここに来たのか。
2. なぜ人々はあなたの顔用のコンピューターを開発しているのか、そして
3. これが私たちを導く可能性のある多くの分岐した道。

コンテンツの概要

• XR: 簡単な歴史
• 今日のヘッドセット: Code New Worlds
• 空間コンピュータの次のフロンティア
• スタートアップへのお願い

XR: 簡単な歴史

初心者のために説明すると、XR は拡張現実( AR、ポケモン Go など)、仮想現実 (VR、Oculus Rift など)、および「大文字の R」現実 (Google ストリート ビューなど) を包括的に組み合わせた拡張現実を指します。複合現実は、AR とほぼ同じ次元に存在する別の用語であるため、ここではほとんど無視されます。

XR に対する現代のビジョンは 1935 年頃に始まります。この年は、スタンリー ワインバウムが『ピグマリオンの眼鏡』を出版した年でした。この短編小説では、主人公のダン・バークは自分が置かれている現実に幻滅しています。これを解決するために、彼は永遠の若さと幸福の世界に連れて行ってくれる眼鏡をかけます。唯一の難点は、彼がその規則 (現代用語でいう「利用規約」) に従うことです。

数十年経つと、実際の環境で XR の最初のビルドが見られるようになります。これは、モートン・ハイリッグの「 Sensorama 」（以下のタイムラインから除外）で始まります。これは、映画の音と視覚に加えて、視聴者に匂いと振動する椅子を提供する一種の 4D 映画体験です。

また、XR の最初の軍事応用も以下のタイムラインから除外されています。 1961 年、 Philco Headsight はモーション トラッキング テクノロジーを備えた最初のヘッドセットになりました。

その後廃止されましたが、Oculus Rift は実際に商業的な魅力を獲得した最初のヘッドセットでした。 Oculusに続いて、大手テクノロジー企業の多くの有名企業がこの行動に参加した。不思議なことに、ほとんどの人は、これらのヘッドセットの主な顧客ベースが誰になるかについて、異なるビジョンを持っていました。

ほとんどの予想される主な使用例は、没入型エンターテイメント アプリケーション、より具体的にはゲームでした。これは、Oculus、 PlayStation VRを通じてソニー、そして Meta Quest 製品ラインでMeta がたどった道でした。

主にエンタープライズに焦点を当てることを選択した人もいます。このセグメントの初期の先駆者には、 HTC ViveとMagic Leap が含まれていました。これらの初期の取り組み者は、エンタープライズ コラボレーション プラットフォーム (以下で説明するメタバース プレイの一部とよく似ています)、緊急対応訓練、医学教育などに目標を集中していました。

次に、メタバースのハイプ サイクル。世界中の企業が、私たちが生きている環境を *仮想* にしたらどうなるかを想像し始めました。ビジョンは基本的にSecondLifeでしたが、今回はポルノが減り、企業の仕事が増えました。

新型コロナウイルス感染症 (COVID-19) の影響で、リモートワークの台頭により、共同作業が可能なデジタル環境の必要性が想定されました。 Microsoft は独自の産業メタバースを持ってこのパーティーに加わりました。アクセンチュアは「メタバースサービス」部門を立ち上げた。 Facebook は名前を Meta に変更し、このビジョンに毎月 10 億ドルを費やし始め、この素晴らしいプレゼンテーションで最高潮に達しました。

メタバースをパンニングするのは楽しかったが、メタバースをめぐる誇大宣伝サイクルは、Apple が今週空間コンピューティングと呼ぶものの到来に対する意識を高める上で重要な瞬間だった。この分野が進化するにつれて、これらのアイデアの多くが再び流行する可能性があります。

商用 XR のその他のユースケースは、実用的なものから無害なものまで多岐にわたりました。そのうちのいくつかは、人気のある Web バックエンドで一般的になり始めています。以下の説明からどれが当てはまるかを選択してください。

• バーチャル観光
• バーチャル住宅検査
• バーチャル衣装フィッティング
• 企業のトレーニングと教育(これらのビデオのいずれかを視聴する場合は、ぜひこのビデオを視聴してください)
• 手術シミュレーション
• 製品設計と試作
• ディズニー原作のスポーツ中継。

上記に挙げた既存のデバイスのほとんどは、対象としているユースケースとの間で、ある種のバランスをとろうとしました。これまでの売上で最も成功した Meta Quest は、ゲーム デバイスとしての位置づけをしっかりと確立することで成功を収めました。

通常であれば、これはレッスンになります。しかし、この傾向に逆らう者がいるとすれば、それは Apple だろう。 Apple は、すでにユビキタスな製品 (一例を挙げると 16 億台のアクティブな iPhone) を幅広く揃えており、これらの製品は VisionPro アプリケーションのセカンダリ エンドポイントとして機能し、また今後も機能します。

Apple の VisionPro の最初のデモはすべて作業環境内でホストされましたが、最終的には汎用 VR になる可能性が高くなります。私は、Apple のコンピュータに対するビジョンが様式を変えるにつれて、その役割が Apple の既存の製品エコシステム (マップ、FaceTime、Siri など) の空間拡張の一形態になると予想しています。他の潜在的なアプリケーションについては、この記事の後半で詳しく説明します。

今日のヘッドセット: Code New Worlds

空間コンピューティング

Apple は、今日のハイテク流行語の波に乗るのではなく、情報市場を作る力を利用して、WWDC で新しい言葉の権威を証明しました。

表面的には十分直感的に聞こえますが、この用語が今後実際に何を伝える可能性があるかをもう少し深く掘り下げてみましょう。

流行語句を生み出すことによる明らかなブランディング上の利点に加えて、「コンピューティング」という用語の使用は非常に意図的であるように感じられます。これは、前の時代の「デスクトップ コンピューティング」と「モバイル コンピューティング」からの論理的な次のステップを表します。 Apple が前世代のパーソナル コンピュータで行ってきたのと同じように、この概念と用語を広く普及させることを目指しています。

WWDC からティム・クックの言葉を引用すると、次のようになります。

「将来、あなたは拡張現実なしでどうやって人生を送っていたのか不思議に思うでしょう。」

ハードウェアの変更以外に、空間コンピューティングは機能的に以前のものとどのように異なりますか?

おそらく最も重要な当面の移行は、2D での作業から 3D での作業への移行でしょう。視覚化、ワークスペースのナビゲーション (つまり、クリックして物を移動する)、コラボレーションなどのタスクはすべて、以前のモダリティでは見られなかった方法で有効になります。

長期的には、コンテキスト認識と相互接続性が空間コンピューティングの画期的な機能を証明する可能性が高くなります。

• コンテキスト認識とは、コンピュータの次の能力を指します。

  i) 既存の推奨事項と通知をユーザーの感覚コンテキストに適応させる (つまり、位置と移動パターンに基づいた推奨事項、ユーザーの習慣に基づいた画面表示の自動変更など)、および

  ii) ユーザーが拡張現実でタスクを完了する際に、カスタマイズされた (おそらくエージェント的な) 支援を提供します。

• 相互接続性とは、デバイスを超えて拡張現実を拡張するユーザーの能力を指します。ユーザーは、ホログラフィック インターフェイス上で作業したりコラボレーションしたりするだけでなく、環境内の他のデバイスを制御したり操作したりできます。退屈な例を挙げると、ユーザーはデバイス内からスマート ホームの設定を変更できます。

長期的には、相互接続性により、仮想アシスタントとしての Siri の役割は、音声コマンドによる検索アグリゲーターから、ユーザーの以前の習慣や好みに基づいてデバイス内からタスクを完了するのに役立つ生きたアシスタントへと進化する可能性があります。自律エージェントの基本機能が進歩するにつれて、Apple の販売ネットワークと Siri の使いやすさの組み合わせにより、Siri がパーソナル エージェントを世界中に大量に提供するためのキラー テクノロジになる可能性があります。

• 情報プレゼンテーション

上で述べたように、Apple の VisionPro のデモは、ほぼもっぱら作業環境に焦点を当てていました。誤解しないでください。この第 1 世代は、インフォメーション ワーカーを非常に対象としています。彼らはそれをどのように使うのでしょうか？

まず、明らかな踏み跡があります。 Apple は、これまでに見てきたすべてのエンタープライズ XR ソリューションをやり直し、再設計する予定です。彼らは、教育機関が従業員、学生、リーダーを訓練するためのリソースを提供します。彼らは、これまでに見たような、多数の試着ソリューション、ゲーム アプリケーション、クラウド TV ソリューションを提供する予定です。

発売の一環として紹介された比較的斬新な例の 1 つは、「マイノリティ リポート」スタイルのコンピューター インターフェイスでした。ファイルで作業するたびに物理デバイスを起動する必要がなく、クラウド内のどこからでも瞬時にファイルにアクセスできます。

しかし、これによってパーソナル コンピューティング自体の核となるエクスペリエンスがどのように異なるのでしょうか?

初期のアイデアのいくつか:

• いつでも無制限の監視

• 情報作業との対話の多様な形式(音声、身体動作など)

• 感覚（目など）追跡によるインテリジェントなブラウザ ナビゲーション

• ユーザーの好みに合わせて自動的にカスタマイズされた完全にカスタムの 3D 画面プレゼンテーション

• 3D データの視覚化(退屈だが重要)

  
  

これらはそれぞれ、それ以前の拡張機能やアプリ ストアに代わる独自のカスタム アイデアの世界を提示します。

AppleLM

Cognosys AIの創設者 Sulaiman Omar のこのツイートは先見の明を感じます。確かに、Apple には、より長い期間にわたってより良い製品を開発するために、先行者利益を犠牲にしてきた歴史があります。 VisionPro はその好例であり、最初に市販された Oculus Rift から 13 年後にリリースされました。

言語モデルをヘッドセットに統合することで、Apple には独自の LLM がなければ既存企業には利用できない多くの可能性が開かれることになります (注: Meta の LlaMa は彼らを同じ立場に置く可能性があります - Balaji Srinivasan がその可能性を強調する素晴らしいスレッドを公開しました)空間コンピューティング競争における役割）。

これにより次のような可能性が考えられます。

• ユーザーの実生活の習慣に基づいてトレーニングされた仮想ゲーム体験。

• 顔の「ブラウザ」を介した即時クエリ。

• ヘッドセットに組み込まれ、ユーザーの習慣に基づいてトレーニングされたエージェント仮想アシスタント。

• ある時点でのアクションを推奨する空間推奨エンジン。

• リアルタイム翻訳。

• ユーザーが自分の空間内でオブジェクトを再配置できるようにする環境拡張。

• ユーザーが話すとすぐに再生される生成的なコンテンツの作成。

  
  

しかし、もっとエレガントに行うことはできないでしょうか...

空間コンピュータの次のフロンティア

Google Glassを見た多くの評論家は、その死を宣言した。コンピューターを顔に装着したいと思う人がいるでしょうか?なぜ少しバカっぽい見た目を選択するのですか？多くの人は、Apple の幹部は発売の一環として VisionPro を試着さえしなかったと指摘しています。

ストラップを着用するには、「他の人がそうしているから」よりも良い理由があるはずです。

長期的には、重要な疑問はこうなります。脳内に XR コンピューターを搭載できるのに、なぜ誰もが顔に XR コンピューターを縛り付けようとするのでしょうか?

これに対する古典的な対抗策は、「再投影」というアイデアです。全員が XR マスクを着用している場合、フォトンを再投影して、誰も着けていないかのように見せることができます。再投影にはまったく新しい光子を作成することが含まれるため、人々はマスクなしで実際にしている姿とはまったく異なる自分を見せることさえできます。これはナマズ釣りにとってキラーアプリになるでしょう。

拡張現実の中で生きるというテクノオプティミストの概念は、永遠の明晰夢の中で生きることに似ています。寝るときはスリープマスク、そこから出るときは拡張現実マスク。以下の証拠 A を調べてください。

XR の現在のパラダイムは、ユーザーが別の現実をナビゲートするためにこれらの外骨格補助に依存しています。現実には、私たちはすでにこうした援助に頼る必要がなくなるところまで来ています。ブレインマシンインターフェイスに入ります。

BMI

長期的には、思い描いた現実は、現在存在するあらゆる形態の複合現実を上回る可能性があります。私はここで、あらゆる形態の環境変化を説明するために、「想像された現実」という用語を使用します。

a) ユーザーの要件や要求に合わせて完全にカスタマイズ可能、および

b) ウェアラブル補助具は必要ありません。

今日、思い描いた現実を伝える最も明白なパイプは、ブレイン マシン インターフェイス(BMI) です。より長い入門書として、2017 年に遡るティム・アーバンの「脳のための魔法使いの帽子」に関する記事はお勧めできません。

BMI は、VisionPro などのツールと同じ「空間計算」の利点を多く提供しますが、顔に重いデバイスを縛り付ける必要はありません。最初の商用 BMI 用のNeuralink の既存のプロトタイプには侵襲的なインプラントが含まれており、当然のことながら、多くの人を不快にさせます (たとえその報酬が超人的な知性と記憶力であるとしても)。これらが侵襲性が低くなり、よりアクセスしやすくなり、したがって一般大衆にとってより嗜好性が高くなった場合はどうなるでしょうか?

拡張現実が溢れています。

スタートアップへのお願い

• 今日の XR デバイス向けのより優れたバッテリー システム。 Apple の VisionPro の最初の発売では、奇妙なことにバッテリーについての言及がありませんでした。これは、インターフェイス、コンピューティング、重み (このスレッドで Kyle Samani によって参照されている) などの他の設計機能に比べて、「現時点で」のデモや使用法ではわかりませんが、毎日使用する場合には同様に重要です。

• XR 世界の社会インフラ。初デートの場がカフェからオンラインのチャットルームに移って以来、人間同士の交流の核となる回路がこれほど根本的に揺るがされたことはなかった。人々が自分自身を何にでも見せられる世界で、どうやって行動を節度化できるのでしょうか? (注: Apple はすでに、これを防ぐ可能性のある何らかの形式のID 証明プロトコルの開発に取り組んでいるようです)。表現方法の幅が広がると、どんなコンテンツが浸透するのでしょうか？オンラインではどうやって人々が集まるのでしょうか？

• 反乱軍を武装せよ: XR 用のクリエイティブ ツール。 SecondLife、Minecraft、Roblox はすべて、デジタル資産の流通市場を基盤として予想を超える巨大なビジネスを生み出しました。これらのマーケットプレイスは、プラットフォーム自体の構造そのものに組み込まれたクリエイティブなツールによって実現されました。

現在、多くの開発者がすでにヘッドセットやメタバース スタイルのプロジェクトなどの新しいエクスペリエンスのデザインに取り組んでいますが、素人 (より具体的には 8 年間のロブロッカー) が独自の想像力の世界を作成できるように、このプロセスをよりアクセスしやすくするにはどうすればよいでしょうか?拡張現実または「想像現実」パラダイムにおける Minecraft の再来は何でしょうか?

• 生きた経験のためのデザイン（つまりクオリア）。仮想現実、拡張現実、想像現実の魅力の大部分は、今とは異なる人生を生きるというアイデアです。 『ピグマリオンの眼鏡』のダン・バークのように、誰もが仮想世界内での生活体験を最適化できるようになります。

  
  

  このようなテクノロジーが普及した場合、主観的経験の合成インスタンスであるクオリアの巨大な普遍的市場が生み出されます。設計範囲は理論的には無限です。純粋なエクスタシーを体験できる方法は何通りありますか?ノスタルジー？何らかの形の拡張現実を通じてこのような種類の体験を世界にもたらすことができる人が得られる報酬は膨大です。

また、ユーザーがこれらのクオリアを自分で捉えたり開発したりするためのツールの開発も過小評価されている可能性があります。自分自身の生きた経験を「記録」して他の人と共有する市場はあるのでしょうか？新しいエクスペリエンスを設計して市場に投入し、他のオープンソース クオリアの上に構築するにはどうすればよいでしょうか?個人クオリアがレコメンデーション エンジンで使用され始めた場合、プライバシーをどのように保証できるでしょうか?

興味のある方は、クオリア研究所で詳細をご覧ください。

• オープンソースのハードウェアおよび XR ソフトウェア マーケットプレイス。 XR がそれ以前の他のコンピューティング パラダイムと依然として共通していることの 1 つは、トップダウンの性質です。ユーザーは自分の携帯電話をどのように操作したいかについて Apple の気まぐれに任せています。これに抗議したい場合は、市場にある憂鬱なほど限られた選択肢の中から別の選択肢を選択すればよいのです。これまで、ハードウェアの構成可能性とカスタマイズ性は非常に限られていました。

  
  

  しかし、分散型ラボを通じてヘッドセット自体の開発をオープンソース化したらどうなるでしょうか?積極的な参加者は、好みに合わせてさまざまなハードウェア仕様を変更し、反復する作業を行うことができます。モジュール設計により、素人レベルでのカスタマイズが可能になります。同様に重要なことは、これらのオープンソース ラボには、ソフトウェア開発用のクローズド ループ システムを作成するインセンティブがないことです。開発者は、ビルド可能な速度ですべてのヘッドセットで利用できるコードを実験、出荷、展開できます。

このようなオープンソース開発は、人々がソフトウェアとハードウェアの両方を扱う方法に大きな変化をもたらすでしょう。インスピレーションを得るには、 Auki Labsのチームがすでに取り組んでいる素晴らしい仕事をチェックしてください。

• プライベート ユーザー エージェント。上記の点に関連して、今日のトップダウン ソフトウェア エコシステムは、ソフトウェアに組み込まれたインセンティブが歪められる傾向があることを意味します。ユーザーの有用性に全力を尽くすのではなく、市場のインセンティブが開発者を追い詰めて、「平均セッション時間」や「クリックスルー率」などの指標を最大化することを目的とした次善のアプリケーションを構築させています。

オープンソース開発スタジオが、ユーザーの機能的なアシスタントとして機能するプライベートな自然言語ユーザー エージェントを組み込むことで、従来のテクノロジー企業に勝つチャンスは計り知れません。