얼굴 컴퓨팅: 개인용 XR의 간략한 역사와 유망한 미래

매년 6월, Apple이 연례 세계 개발자 회의(WWDC 또는 '더빙')를 개최함에 따라 전 세계 기술 형제, 연금 포트폴리오 관리자 및 Twitter 스레드보이가 산타클라라로 시선을 돌립니다.

무엇보다도 더빙은 Apple의 거의 모든 유비쿼터스 소비자 기술 제품군의 탄생지로 가장 잘 알려져 있습니다. 이번 행사에서는 오리지널 iPhone, iPad, Apple Watch, Apple TV 및 후속 업그레이드가 모두 출시되었습니다.

올해에는 2015년 이후 처음으로 소비자 장치에 완전히 새로운 제품이 추가되었습니다. 그 새로운 제품이 바로 VisionPro입니다.

확장된 현실의 미래에 대한 VisionPro나 Apple의 비전에 대해 제가 말씀드릴 수 있는 것은 Twitter , LinkedIn 또는 인터넷 전체를 빠르게 탐색하는 것만으로는 할 수 없는 것입니다. 이 기사의 요점은 다음을 시도하고 관찰하는 것입니다.

1. 우리가 여기까지 어떻게 왔는지;
2. 사람들이 왜 당신의 얼굴을 위한 컴퓨터를 만들고 있는지
3. 이로 인해 우리가 갈 수 있는 다양한 경로가 있습니다.

콘텐츠 개요

• XR: 간략한 역사
• 오늘날의 헤드셋: 코드의 새로운 세계
• 공간 컴퓨터의 차세대 개척지
• 스타트업에 대한 요청

XR: 간략한 역사

초보자에게 XR은 확장된 현실 , 즉 증강 현실 (AR, 예: Pokemon Go), 가상 현실(VR, 예: Oculus Rift) 및 '캐피털 R' 현실(예: Google 스트리트 뷰)이 모두 혼합된 현실을 의미합니다. 혼합 현실은 AR과 대체로 동일한 차원에 존재하는 또 다른 용어이므로 여기서는 대부분 무시됩니다.

XR에 대한 현대적인 비전은 1935년경에 시작됩니다. 이 해는 Stanley Weinbaum이 Pygmalion's Spectacles를 출판한 해입니다. 이 단편 소설에서 주인공 댄 버크는 자신이 처한 현실에 환멸을 느낍니다. 이 문제를 해결하기 위해 그는 자신을 영원한 젊음과 행복의 세계로 데려가는 안경을 착용합니다. 유일한 문제는 그가 규칙(현대 용어로 _T&C_s)을 준수한다는 것입니다.

수십 년이 지나면 실제 환경에서 최초의 XR 빌드가 나타나기 시작합니다. 이는 관객에게 영화의 소리와 시각 외에도 냄새와 진동하는 의자를 제공하는 일종의 4D 영화 경험인 모튼 하이리그(Morton Heilig)의 '센서라마( Sensorama )'(아래 타임라인에서는 제외)로 시작됩니다.

또한 아래 타임라인에서 제외된 것은 XR의 첫 번째 군사적 적용입니다. 1961년에 Philco Headsight는 모션 추적 기술이 적용된 최초의 헤드셋이 되었습니다.

이후 단종되었지만 Oculus Rift는 진정한 상업적 매력을 얻은 최초의 헤드셋이었습니다. Oculus에 이어 많은 거대 기술 기업들이 이 행동에 동참했습니다. 흥미롭게도 대부분의 사람들은 이러한 헤드셋의 주요 고객 기반이 누구인지에 대해 서로 다른 비전을 가지고 있었습니다.

대부분의 예상되는 주요 사용 사례는 몰입형 엔터테인먼트 애플리케이션, 특히 게임이었습니다. 이는 Oculus, PlayStation VR 을 통한 Sony, 그리고 Meta Quest 제품군을 통한 Meta가 뒤따른 경로였습니다.

다른 사람들은 주로 기업에 집중하기로 결정했습니다. 이 부문의 초기 개척자에는 HTC Vive 와 Magic Leap이 포함되었습니다. 이러한 초기 이동자들은 엔터프라이즈 협업 플랫폼(아래에 설명된 일부 메타버스 플레이와 유사), 비상 대응 훈련 및 의학 교육과 같은 것에 목표를 집중했습니다.

그런 다음 메타버스 과대 광고 주기입니다. 전 세계의 기업들은 우리가 살고 있는 환경을 *가상*으로 만들면 어떤 모습일지 상상하기 시작했습니다. 비전은 본질적으로 SecondLife 였지만 이번에는 포르노가 적고 기업 업무가 더 많았습니다.

코로나19 이후 원격 근무가 증가하면서 협업 디지털 환경에 대한 필요성이 대두되었습니다. Microsoft는 자체 산업 메타버스를 통해 파티에 합류했습니다. 액센츄어(Accenture)가 '메타버스 서비스' 사업부를 출범시켰습니다. Facebook은 이름을 Meta로 변경하고 이 비전을 위해 매달 10억 달러를 지출하기 시작했으며, 이는 이 훌륭한 프레젠테이션 으로 마무리되었습니다.

저는 메타버스를 둘러보는 것이 즐거웠지만, 이를 둘러싼 과대 광고 주기는 Apple이 이번 주에 공간 컴퓨팅이라고 부르는 것의 출현에 대한 인식을 높이는 데 중요한 순간이었습니다. 이 공간이 발전함에 따라 이러한 아이디어 중 상당수가 다시 유행할 가능성이 있습니다.

상업용 XR의 다른 사용 사례는 실용적인 것부터 양성까지 다양했습니다. 그 중 일부는 인기 있는 웹 백엔드에서 일반화되기 시작했습니다. 아래에서 어떤 설명에 맞는지 선택하세요.

• 가상 관광
• 가상 주택 검사
• 가상 의류 피팅
• 기업 훈련 및 교육 (이 비디오를 시청할 예정이라면 꼭 이 비디오를 만들어 보세요)
• 수술 시뮬레이션
• 제품 디자인 및 프로토타입 제작
• 디즈니에서 제작한 스포츠 방송.

위에 나열된 대부분의 기존 장치는 목표로 삼은 사용 사례와 일종의 균형을 이루려고 노력했습니다. 현재까지 판매 기준으로 가장 성공적인 제품인 Meta Quest는 게임 장치로 확고한 포지셔닝을 통해 이를 달성했습니다.

일반적으로 이것은 교훈이 될 것입니다. 그러나 이러한 추세에 맞서는 사람이 있다면 바로 Apple일 것입니다. Apple은 VisionPro 애플리케이션의 보조 엔드포인트 역할을 할 수 있고 앞으로도 그렇게 될 광범위한 유비쿼터스 제품군(예를 들어 16억 개의 활성 iPhone)을 보유하고 있습니다.

VisionPro에 대한 Apple의 첫 번째 데모는 모두 작업 환경 내에서 호스팅되었지만 결국 범용 VR이 될 가능성이 높습니다. 나는 컴퓨터에 대한 Apple의 비전이 방식을 바꾸면서 Apple의 기존 제품 생태계(예: 지도, FaceTime, Siri 등)에 대한 공간적 확장의 한 형태로서 그 역할을 예상합니다. 이 글의 뒷부분에서 다른 잠재적인 응용 프로그램에 대해 자세히 알아보세요.

오늘날의 헤드셋: 코드의 새로운 세계

공간 컴퓨팅

오늘날의 기술 유행어의 물결을 타는 대신 Apple은 정보 시장 형성 능력을 사용하여 WWDC에서 새로운 기술에 대한 권위를 인증했습니다.

표면적으로는 충분히 직관적으로 들리지만, 이 용어가 앞으로 실제로 무엇을 전달할 수 있는지 좀 더 깊이 살펴보겠습니다.

유행어를 만드는 데 따른 명백한 브랜드 이점 외에도 '컴퓨팅'이라는 용어를 사용하는 것은 매우 의도적으로 느껴집니다. 이는 이전 '데스크톱 컴퓨팅'과 '모바일 컴퓨팅' 시대의 논리적 다음 단계를 나타냅니다. Apple이 이전 세대의 개인용 컴퓨터에서 그랬던 것처럼, 이 개념과 용어를 어디서나 사용할 수 있게 만드는 것을 목표로 할 것입니다.

WWDC의 Tim Cook의 말을 인용하자면:

“미래에는 증강현실 없이 어떻게 살아왔는지 궁금할 것”

하드웨어 변경 외에도 공간 컴퓨팅은 이전 제품과 기능적으로 어떻게 다릅니까?

아마도 가장 중요한 즉각적인 변화는 2D 작업에서 3D 작업으로의 전환일 것입니다. 시각화, 작업 공간 탐색(예: 항목 클릭 및 이동), 협업 등의 작업은 이전 양식에서는 볼 수 없었던 방식으로 모두 활성화됩니다.

장기적으로 상황 인식 과 상호 연결성은 공간 컴퓨팅의 획기적인 기능을 입증할 가능성이 더 높습니다.

• 상황 인식은 컴퓨터의 능력을 말합니다.

  i) 기존 추천 및 알림을 사용자의 감각적 상황에 맞게 조정합니다(예: 위치 및 움직임 패턴에 따른 추천, 사용자 습관에 따른 화면 표시 자동 변경 등).

  ii) 확장된 현실에서 작업을 완료할 때 사용자에게 맞춤형(아마도 에이전트적) 지원을 제공합니다.

• 상호연결성은 장치를 넘어 확장된 현실을 확장할 수 있는 사용자의 능력을 의미합니다. 홀로그램 인터페이스에서 작업하고 협업하는 것 외에도 사용자는 자신의 환경에서 다른 장치를 제어하고 상호 작용할 수 있습니다. 지루한 예를 들자면, 사용자는 기기 내에서 스마트 홈 설정을 변경할 수 있습니다.

장기적으로 상호 연결성은 가상 비서로서의 Siri의 역할이 음성 명령 검색 수집기에서 사용자의 이전 습관과 선호도를 기반으로 장치 내에서 작업을 완료하는 데 도움을 줄 수 있는 살아있는 비서로 진화하는 것을 볼 수 있습니다. 자율 에이전트의 기본 기능이 발전함에 따라 Apple의 유통 네트워크와 Siri의 친숙함의 결합으로 개인 에이전트를 대량으로 세상에 선보일 수 있는 킬러 기술이 될 수 있습니다.

• 정보 표현

위에서 언급했듯이 Apple의 VisionPro 데모는 거의 전적으로 작업 환경에 중점을 두었습니다. 실수하지 마십시오. 이 1세대는 정보 근로자에 매우 적합합니다. 그들은 그것을 어떻게 사용할 것인가?

첫째, 명백하고 다져진 땅이 있습니다. Apple은 이전에 본 모든 엔터프라이즈 XR 솔루션을 다시 실행하고 재설계할 것입니다. 그들은 기관이 직원, 학생 및 지도자를 교육할 수 있는 리소스를 제공할 것입니다. 그들은 우리가 이전에 본 적이 있는 다양한 체험 솔루션, 게임 애플리케이션 및 클라우드 TV 솔루션을 제공할 것입니다.

출시의 일부로 선보인 비교적 새로운 사례 중 하나는 'Minority Report' 스타일의 컴퓨터 인터페이스였습니다. 파일 작업을 할 때마다 물리적 장치를 부팅할 필요 없이 클라우드 어디에서나 즉시 액세스할 수 있습니다.

그러나 이것이 개인용 컴퓨팅 자체의 핵심 경험을 어떻게 다르게 만드는가?

몇 가지 초기 아이디어:

• 특정 시점에 무제한 모니터

• 정보 작업(말, 신체 움직임 등)과 상호작용하는 다양한 형태

• 감각(예: 눈) 추적을 통한 지능형 브라우저 탐색

• 사용자 선호도에 맞춰 자동으로 맞춤화된 완전한 맞춤형 3D 화면 프레젠테이션

• 3D 데이터 시각화 (지루하지만 중요함)

  
  

이들 각각은 확장 프로그램과 앱 스토어를 대신할 고유한 맞춤형 아이디어 세계를 제시할 것입니다.

AppleLM

Cognosys AI 창립자인 Sulaiman Omar의 이 트윗은 예견된 느낌을 줍니다. 애플은 실제로 더 오랜 기간에 걸쳐 더 나은 제품을 개발하기 위해 선발자 우위를 희생한 역사가 있습니다. VisionPro는 최초의 상용 Oculus Rift 이후 13년 만에 출시된 완벽한 예입니다.

언어 모델을 헤드셋에 통합하면 자체 독점 LLM 없이는 기존 기업이 사용할 수 없는 다양한 가능성이 Apple에 열릴 것입니다(참고: Meta의 LlaMa는 이들을 같은 보트에 넣을 수 있습니다. Balaji Srinivasan은 잠재력을 강조하는 훌륭한 스레드를 게시했습니다) 공간 컴퓨팅 경쟁에서의 역할).

이로 인해 발생할 수 있는 가능성은 다음과 같습니다.

• 사용자의 실제 습관을 기반으로 훈련된 가상 게임 경험입니다 .

• 얼굴 '브라우저'를 통해 즉시 쿼리합니다 .

• 헤드셋에 내장되어 사용자 습관에 대한 교육을 받은 에이전트 가상 비서 .

• 특정 시점의 작업을 추천하는 공간 추천 엔진입니다 .

• 실시간 번역.

• 사용자가 자신의 공간에서 물체를 재배치할 수 있도록 하는 환경 강화입니다 .

• 사용자가 말하는 즉시 재생 되는 생성적 콘텐츠 생성 .

  
  

하지만 좀 더 우아하게 할 수는 없을까…

공간 컴퓨터의 차세대 개척지

많은 평론가들은 구글 글래스를 보고 죽음을 선언했습니다. 누가 얼굴에 컴퓨터를 쓰고 싶어하겠습니까? 왜 멍청이처럼 보이기로 선택하셨나요? 많은 사람들은 단 한 명의 Apple 임원도 출시 과정에서 VisionPro를 사용해 본 적이 없다고 지적했습니다.

"다른 사람들이 다 그렇으니까"보다 끈을 매는 더 나은 이유가 있어야 합니다.

장기적으로 중요한 질문은 다음과 같습니다. 뇌 안에 XR 컴퓨터가 있을 수 있는데 왜 누군가가 얼굴에 XR 컴퓨터를 묶고 싶어 할까요?

이에 대한 고전적인 대응은 ' 재투영 '이라는 아이디어일 것입니다. 모두가 XR 마스크를 착용하면 광자를 재투사하여 마치 아무도 없는 것처럼 보이게 할 수 있습니다. 재투영에는 완전히 새로운 광자가 생성되기 때문에 사람들은 마스크 없이 실제로 하는 것과 완전히 다른 모습을 만들 수도 있습니다. 이것은 메기 낚시를 위한 킬러 앱이 될 것입니다.

증강 현실에 산다는 기술 낙관주의자의 개념은 영원한 자각몽 속에 사는 것과 비슷합니다. 잠자리에 들 때는 수면 마스크, 나올 때는 확장된 현실 마스크. 아래의 전시물 A를 살펴보세요:

XR의 현재 패러다임은 사용자가 대체 현실을 탐색할 수 있도록 이러한 외골격 보조 장치에 의존합니다. 현실은 우리가 이미 이러한 보조물에 더 이상 의존할 필요가 없을 정도로 가까워졌다는 것입니다. 뇌-기계 인터페이스로 들어갑니다.

BMI

장기적으로 상상된 현실은 오늘날 존재하는 모든 형태의 혼합 현실보다 우선할 가능성이 높습니다. 나는 여기서 상상된 현실이라는 용어를 사용하여 모든 형태의 환경 변화를 설명합니다.

a) 사용자의 요구 사항이나 수요에 완전히 맞춤화 가능

b) 착용 가능한 보조 장치가 필요하지 않습니다.

오늘날 상상된 현실을 전달하는 가장 확실한 통로는 뇌-기계 인터페이스 (BMI)입니다. 더 긴 입문서를 원한다면 2017년까지 거슬러 올라가는 Tim Urban의 ' 뇌를 위한 마법사 모자 '에 대한 글을 추천할 수 없습니다.

BMI는 VisionPro와 같은 도구와 동일한 '공간 계산' 이점을 많이 제공하지만 얼굴에 무거운 장치를 묶을 필요가 없습니다. 최초의 상업용 BMI를 위한 Neuralink의 기존 프로토타입에는 당연히 많은 사람들을 불편하게 만드는 침습적 임플란트가 포함되어 있습니다(보상이 초인적인 지능과 기억이라고 하더라도). 이것이 덜 침해적이고, 더 쉽게 접근할 수 있으며, 그리하여 대중의 입맛에 더 잘 맞는다면 어떨까요?

확장된 현실이 풍부합니다.

스타트업에 대한 요청

• 오늘날의 XR 장치를 위한 더 나은 배터리 시스템. Apple의 VisionPro 첫 출시에는 이상하게도 배터리에 대한 언급이 없었습니다. 인터페이스, 컴퓨팅, 무게( Kyle Samani가 이 스레드 에서 참조)와 같은 다른 디자인 기능보다 '현재' 데모 및 사용법에 대해서는 덜 명확하지만 매일 사용할 때는 똑같이 중요합니다.

• XR 세계를 위한 소셜 인프라. 첫 데이트가 카페에서 온라인 채팅방으로 옮겨진 이후로 인간이 서로 상호 작용하는 방식의 핵심 배선이 근본적으로 흔들리지 않았습니다. 사람들이 자신을 무엇이든 것처럼 보이게 할 수 있는 세상에서 행동을 어떻게 조절할 수 있습니까? (참고: Apple은 이미 이를 방지할 수 있는 일종의 신원 증명 프로토콜을 개발하고 있는 것 같습니다.) 프레젠테이션 방법의 범위가 광범위해지면 어떤 콘텐츠가 더 널리 퍼질까요? 사람들은 어떻게 온라인으로 모이나요?

• Arm the Rebels: XR용 크리에이티브 도구. SecondLife, Minecraft 및 Roblox는 모두 디지털 자산을 위한 2차 시장을 기반으로 예상보다 더 큰 비즈니스를 창출했습니다. 이러한 마켓플레이스는 플랫폼 자체에 내장된 창의적인 도구를 통해 활성화되었습니다.

오늘날 많은 개발자가 이미 헤드셋 및 메타버스 스타일 프로젝트를 위한 새로운 경험 등을 위한 디자인을 작업하고 있지만, 일반인(더 구체적으로 8년 차 Roblocker)이 자신의 상상의 세계를 만들 수 있도록 이 프로세스에 더 쉽게 접근할 수 있도록 하려면 어떻게 해야 할까요? 증강 현실 또는 '상상 현실' 패러다임을 위한 Minecraft의 재림은 무엇일까요?

• 생생한 경험을 위한 디자인(예: Qualia) 가상/증강/상상 현실의 매력 중 상당 부분은 현재 살고 있는 삶과는 다른 삶을 살고 싶다는 생각입니다. Pygmalion's Spectacles 의 Dan Burke와 마찬가지로 이제 누구나 가상 세계에서 자신의 실제 경험을 최적화할 수 있습니다.

  
  

  그러한 기술이 실제로 어디에나 존재하게 된다면 주관적 경험의 종합적 사례 인 감각질 에 대한 거대한 보편적 시장이 창출됩니다. 설계 범위는 이론적으로 무한합니다. 순수한 엑스터시를 얼마나 많은 방법으로 경험할 수 있습니까? 노스탤지어? 어떤 형태로든 확장된 현실을 통해 이러한 종류의 경험을 세상에 가져올 수 있는 사람들을 위한 보상 풀은 엄청납니다.

또한 사용자가 스스로 이러한 감각질을 포착하거나 개발할 수 있는 도구 개발이 과소평가될 수 있습니다. 자신의 생생한 경험을 다른 사람들과 공유할 수 있는 '기록' 시장이 있습니까? 사람들은 어떻게 새로운 경험을 설계하여 시장에 출시하고 다른 오픈 소스 특성 위에 구성할 수 있습니까? 개인 품질이 추천 엔진에 사용되기 시작하면 어떻게 개인 정보 보호를 보장할 수 있습니까?

궁금하신 분은 Qualia 연구소를 방문해 자세히 알아보세요.

• 오픈 소스 하드웨어 및 XR 소프트웨어 마켓플레이스. XR이 하향식 특성을 갖기 전에 여전히 다른 컴퓨팅 패러다임과 공통점을 갖고 있는 한 가지입니다. 사용자는 휴대폰과 상호 작용하는 방식에 대해 Apple의 변덕에 달려 있습니다. 이에 대해 항의하고 싶다면 시장에 나와 있는 우울할 정도로 유한한 옵션 중 하나를 더 선택할 수 있습니다. 현재까지 하드웨어의 구성 가능성과 사용자 정의 가능성은 극히 제한되어 있습니다.

  
  

  하지만 분산된 연구실을 통해 헤드셋 자체 개발을 오픈 소스로 제공한다면 어떻게 될까요? 활동적인 참가자는 자신이 선호하는 다양한 하드웨어 사양을 수정하고 반복할 수 있습니다. 모듈식 설계를 통해 일반인 수준에서 맞춤화가 가능합니다. 마찬가지로 중요한 것은 이러한 오픈 소스 연구소에서는 소프트웨어 개발을 위한 폐쇄 루프 시스템을 만들 인센티브가 없다는 것입니다. 개발자는 빌드할 수 있는 속도로 모든 헤드셋에 사용할 수 있는 코드를 실험하고, 출시하고, 배포할 수 있습니다.

이러한 오픈 소스 개발은 사람들이 소프트웨어와 하드웨어 모두와 상호 작용하는 방식의 단계적 변화를 의미합니다. 영감을 얻으려면 Auki Labs 팀이 이미 수행하고 있는 훌륭한 작업을 확인하세요.

• 개인 사용자 에이전트. 위의 요점과 연결되어 오늘날의 하향식 소프트웨어 생태계는 소프트웨어에 내장된 인센티브가 왜곡되는 경향이 있음을 의미합니다. 시장 인센티브는 사용자 유틸리티에 전력을 다하는 대신 개발자가 '평균 세션 시간' 또는 '클릭률'과 같은 지표를 최대화하는 것을 목표로 하는 차선의 애플리케이션을 구축하도록 유도합니다.

오픈 소스 개발 스튜디오가 사용자에게 기능적 보조자 역할을 하는 비공개 자연어 사용자 에이전트를 구축함으로써 레거시 기술 회사와 경쟁해야 할 기회는 엄청납니다.