Điện toán khuôn mặt: Lịch sử tóm tắt và Tương lai đầy hứa hẹn của Personal XR

Tháng 6 hàng năm, các chuyên gia công nghệ, nhà quản lý danh mục đầu tư hưu trí và chủ đề Twitter trên toàn thế giới hướng mắt về Santa Clara khi Apple tổ chức Hội nghị nhà phát triển toàn cầu hàng năm (WWDC, hay 'dub-dub').

Trong số những thứ khác, dub-dub được biết đến nhiều nhất là nơi sản sinh ra hầu hết tất cả các bộ công nghệ tiêu dùng phổ biến của Apple. iPhone, iPad, Apple Watch và Apple TV ban đầu và các bản nâng cấp tiếp theo đều đã được ra mắt tại sự kiện này.

Năm nay, sự ổn định của các thiết bị tiêu dùng này có sự tham gia của một sản phẩm hoàn toàn mới lần đầu tiên kể từ năm 2015. Sản phẩm mới đó là VisionPro.

Tôi không thể nói gì với bạn về VisionPro hoặc tầm nhìn của Apple về tương lai của thực tế mở rộng mà việc duyệt nhanh Twitter , LinkedIn hoặc internet nói chung không thể làm được. Thay vào đó, mục đích của bài viết này là thử và quan sát:

1. làm thế nào chúng tôi đến đây;
2. tại sao mọi người đang xây dựng máy tính cho khuôn mặt của bạn và
3. nhiều con đường khác nhau mà điều này có thể dẫn chúng ta đi.

Tổng quan nội dung

• XR: Lược sử
• Tai nghe hôm nay: Code New Worlds
• Biên giới tiếp theo cho máy tính không gian
• Yêu cầu khởi nghiệp

XR: Lược sử

Đối với những người không quen biết, XR đề cập đến thực tế mở rộng - sự pha trộn tất cả của thực tế tăng cường (AR, ví dụ: Pokemon Go), thực tế ảo (VR, ví dụ Oculus Rift) và Thực tế 'viết hoa R' (ví dụ: Chế độ xem phố của Google). Thực tế hỗn hợp là một thuật ngữ khác tồn tại phần lớn trên cùng một chiều với AR và do đó hầu như sẽ bị bỏ qua ở đây.

Tầm nhìn hiện đại cho XR bắt đầu vào khoảng năm 1935. Đây là năm mà Stanley Weinbaum xuất bản Pygmalion's Spectacles . Trong truyện ngắn này, nhân vật chính Dan Burke vỡ mộng với thực tế mà anh thấy mình đang ở trong đó. Để khắc phục điều này, anh ấy đeo một cặp kính đưa anh ấy đến một thế giới của tuổi trẻ và hạnh phúc vĩnh cửu. Điều hấp dẫn duy nhất là anh ta tuân theo các quy tắc của nó (_T&C_s, theo cách nói hiện đại).

Tua đi vài thập kỷ và chúng ta bắt đầu thấy những bản dựng đầu tiên của XR trong môi trường thực. Điều này bắt đầu với ' Sensorama ' của Morton Heilig (không có trong dòng thời gian bên dưới), một loại trải nghiệm điện ảnh 4D cung cấp cho người xem mùi và một chiếc ghế rung bên cạnh âm thanh và hình ảnh của bộ phim.

Cũng bị loại khỏi dòng thời gian bên dưới là ứng dụng quân sự đầu tiên của XR. Năm 1961, Philco Headsight trở thành tai nghe đầu tiên có công nghệ theo dõi chuyển động.

Mặc dù đã bị ngừng sản xuất nhưng Oculus Rift là chiếc tai nghe đầu tiên thực sự thu hút được sự chú ý về mặt thương mại. Theo sau Oculus, nhiều tên tuổi lớn trong làng công nghệ đã tham gia hành động. Thật kỳ lạ, hầu hết đều có tầm nhìn khác nhau về đối tượng khách hàng chính của những chiếc tai nghe này.

Trường hợp sử dụng dự kiến chiếm ưu thế đối với hầu hết là trong các ứng dụng giải trí nhập vai, cụ thể hơn là trong chơi game. Đây là con đường mà Oculus, Sony đã đi qua PlayStation VR và Meta với dòng sản phẩm Meta Quest.

Những người khác chọn tập trung chủ yếu vào doanh nghiệp. Những người tiên phong đầu tiên trong phân khúc này bao gồm HTC Vive và Magic Leap. Những người đi đầu này tập trung mục tiêu của họ vào những thứ như nền tảng cộng tác doanh nghiệp (giống như một số vở kịch metaverse được mô tả bên dưới), đào tạo ứng phó khẩn cấp và giáo dục y tế.

Sau đó, chu kỳ cường điệu metaverse . Các tập đoàn trên toàn thế giới bắt đầu hình dung mọi thứ sẽ như thế nào nếu chúng ta lấy môi trường sống của mình nhưng biến nó thành *ảo*. Tầm nhìn về cơ bản là SecondLife , nhưng lần này ít nội dung khiêu dâm hơn và nhiều nội dung công việc hơn.

Sau đại dịch COVID-19, sự gia tăng của hình thức làm việc từ xa đã tạo ra nhu cầu được cho là phải có môi trường kỹ thuật số hợp tác. Microsoft đã tham gia bữa tiệc với metaverse công nghiệp của riêng mình. Accenture đã ra mắt bộ phận 'dịch vụ metaverse'. Facebook đã đổi tên thành Meta và bắt đầu chi 1 tỷ đô la mỗi tháng cho tầm nhìn này, đỉnh cao là bài thuyết trình tuyệt vời này .

Tôi đã rất vui khi lướt siêu dữ liệu, nhưng chu kỳ cường điệu xung quanh nó là một thời điểm quan trọng trong việc nâng cao nhận thức về sự xuất hiện của thứ mà Apple sẽ gọi là điện toán không gian trong tuần này. Khi không gian này phát triển, có nhiều khả năng những ý tưởng này sẽ thịnh hành trở lại.

Các trường hợp sử dụng khác cho XR thương mại đa dạng từ thực tế đến lành tính. Một số trong số chúng đang bắt đầu trở nên phổ biến trong các web back-end phổ biến. Bạn chọn xem cái nào phù hợp với mô tả nào từ bên dưới:

• du lịch ảo
• Kiểm tra nhà ảo
• thử quần áo ảo
• Đào tạo & giáo dục doanh nghiệp (Nếu bạn định xem bất kỳ video nào trong số này, hãy tự giúp mình và biến nó thành video này)
• mô phỏng phẫu thuật
• Thiết kế & tạo mẫu sản phẩm
• Các chương trình truyền hình thể thao do Disney sản xuất.

Hầu hết các thiết bị hiện có được liệt kê ở trên đã cố gắng đạt được một số loại cân bằng với các trường hợp sử dụng mà chúng đang nhắm mục tiêu. Thành công nhất cho đến nay về doanh số bán hàng, Meta Quest, đã làm được điều đó bằng cách định vị vững chắc như một thiết bị chơi game.

Thông thường, đây sẽ là một bài học. Tuy nhiên, nếu có ai đi ngược lại xu hướng này thì đó sẽ là Apple. Apple có một loạt các sản phẩm đã phổ biến (1,6 tỷ chiếc iPhone đang hoạt động, có thể kể tên một chiếc) có thể và sẽ đóng vai trò là điểm cuối phụ cho các ứng dụng VisionPro.

Mặc dù các bản demo đầu tiên của Apple cho VisionPro đều được lưu trữ trong môi trường làm việc, nhưng nhiều khả năng nó sẽ trở thành một VR có mục đích chung. Tôi thấy trước vai trò của nó là một hình thức mở rộng không gian cho hệ sinh thái sản phẩm hiện có của Apple (ví dụ: Bản đồ, FaceTime, Siri và cộng sự) khi tầm nhìn của nó đối với máy tính thay đổi phương thức. Thông tin thêm về các ứng dụng tiềm năng khác sau trong phần này.

Tai nghe hôm nay: Code New Worlds

Điện toán không gian

Thay vì chạy theo làn sóng của các từ thông dụng công nghệ ngày nay, Apple đã sử dụng sức mạnh tạo thị trường thông tin của mình để đóng dấu thẩm quyền cho một cái mới tại WWDC.

Mặc dù bề ngoài nghe có vẻ đủ trực quan, nhưng chúng ta hãy tìm hiểu sâu hơn một chút về những gì thuật ngữ này thực sự có thể truyền đạt trong tương lai.

Bên cạnh những lợi ích thương hiệu rõ ràng của việc tạo ra một cụm từ buzz, việc sử dụng thuật ngữ 'máy tính' có vẻ rất cân nhắc. Nó đại diện cho một bước tiếp theo hợp lý từ các thời đại trước đó của 'máy tính để bàn' và 'máy tính di động'. Giống như Apple đã làm với các thế hệ máy tính cá nhân trước đây, hãng sẽ hướng đến việc làm cho khái niệm và thuật ngữ này trở nên phổ biến.

Để trích dẫn Tim Cook từ WWDC:

“Trong tương lai, bạn sẽ tự hỏi làm thế nào bạn sống cuộc sống của mình mà không có thực tế tăng cường”

Bên cạnh sự thay đổi về phần cứng, tính toán không gian khác về chức năng như thế nào so với những người tiền nhiệm của nó?

Có thể cho rằng sự thay đổi tức thời quan trọng nhất sẽ là từ làm việc ở chế độ 2D sang hoạt động ở chế độ 3D. Tất cả các tác vụ như trực quan hóa, điều hướng không gian làm việc (tức là nhấp và di chuyển mọi thứ) và cộng tác sẽ được kích hoạt theo những cách chưa từng thấy trong các phương thức trước đây.

Về lâu dài, nhận thức theo ngữ cảnh và khả năng kết nối có nhiều khả năng chứng minh các tính năng đột phá của điện toán không gian.

• Nhận thức theo ngữ cảnh đề cập đến khả năng của máy tính;

  i) điều chỉnh các đề xuất và thông báo hiện có cho phù hợp với bối cảnh giác quan của người dùng (nghĩa là các đề xuất dựa trên vị trí và kiểu chuyển động, thay đổi tự động đối với cách trình bày trên màn hình dựa trên thói quen của người dùng, v.v.) và

  ii) cung cấp hỗ trợ tùy chỉnh (có thể là tác nhân) cho người dùng khi họ hoàn thành nhiệm vụ trong thực tế mở rộng.

• Khả năng kết nối đề cập đến khả năng của người dùng để mở rộng thực tế mở rộng ra ngoài thiết bị. Ngoài việc chỉ làm việc và cộng tác trên giao diện ba chiều, người dùng có thể kiểm soát và tương tác với các thiết bị khác trong môi trường của họ. Lấy một ví dụ nhàm chán, người dùng có thể thay đổi cài đặt nhà thông minh từ bên trong thiết bị.

Về lâu dài, khả năng kết nối có thể thấy vai trò trợ lý ảo của Siri phát triển từ bộ tổng hợp tìm kiếm ra lệnh bằng giọng nói thành một trợ lý sống có thể giúp hoàn thành các tác vụ từ bên trong thiết bị dựa trên thói quen và sở thích trước đây của người dùng. Khi các khả năng cơ bản của các đại lý tự động phát triển, sự kết hợp giữa mạng lưới phân phối của Apple và sự quen thuộc của Siri có thể khiến nó trở thành công nghệ sát thủ để đưa các đại lý cá nhân đến với thế giới.

• trình bày thông tin

Như đã đề cập ở trên, các bản trình diễn VisionPro của Apple hầu như chỉ tập trung vào môi trường làm việc. Đừng nhầm lẫn, thế hệ đầu tiên này hướng rất nhiều đến những người làm công việc thông tin. Họ sẽ sử dụng nó như thế nào?

Đầu tiên, có một nền tảng rõ ràng và bị giẫm đạp. Apple sẽ làm lại và thiết kế lại tất cả các giải pháp XR dành cho doanh nghiệp mà chúng ta đã thấy trước đây. Họ sẽ cung cấp các nguồn lực cho các tổ chức để đào tạo nhân viên, sinh viên và các nhà lãnh đạo của họ. Họ sẽ cung cấp một loạt các giải pháp dùng thử, ứng dụng trò chơi và giải pháp truyền hình đám mây mà chúng ta đã thấy trước đây.

Một ví dụ tương đối mới đã được giới thiệu như một phần của buổi ra mắt là giao diện máy tính kiểu 'Báo cáo thiểu số'. Thay vì phải khởi động thiết bị vật lý mỗi khi bạn muốn làm việc trên một tệp, hãy truy cập tệp đó từ mọi nơi trên đám mây ngay lập tức.

Nhưng điều này làm cho trải nghiệm cốt lõi của máy tính cá nhân trở nên khác biệt như thế nào?

Một số ý tưởng ban đầu:

• Màn hình không giới hạn tại bất kỳ thời điểm nào

• Các hình thức tương tác đa phương thức với công việc thông tin (lời nói, chuyển động vật lý, v.v.)

• Điều hướng trình duyệt thông minh thông qua theo dõi cảm giác (ví dụ như mắt)

• Các bản trình bày màn hình 3D hoàn toàn tùy chỉnh được tự động điều chỉnh theo sở thích của người dùng

• Trực quan hóa dữ liệu 3D (nhàm chán nhưng quan trọng)

  
  

Mỗi trong số này sẽ trình bày vũ trụ ý tưởng tùy chỉnh của riêng mình sẽ thay thế các tiện ích mở rộng và cửa hàng ứng dụng trước đó.

AppleLM

Dòng tweet này từ người sáng lập Cognosys AI , Sulaiman Omar, cho cảm giác có thể nhìn thấy trước. Apple thực sự có lịch sử hy sinh lợi thế của người đi đầu để phát triển một sản phẩm tốt hơn trong một khoảng thời gian dài hơn. VisionPro là một ví dụ hoàn hảo về điều này, được phát hành 13 năm sau Oculus Rift đầu tiên được bán trên thị trường.

Việc tích hợp các mô hình ngôn ngữ vào tai nghe của nó sẽ mở ra một số khả năng cho Apple mà những người đương nhiệm không có LLM độc quyền của họ không có được (lưu ý: LlaMa của Meta có thể đặt họ vào cùng một con thuyền - Balaji Srinivasan đã xuất bản một chủ đề tuyệt vời nêu bật tiềm năng của họ trò trong cuộc chạy đua điện toán không gian).

Trong số các khả năng mà điều này có thể mở ra:

• Trải nghiệm chơi trò chơi ảo được đào tạo dựa trên thói quen thực tế của người dùng.

• Truy vấn ngay lập tức thông qua 'trình duyệt' trên khuôn mặt.

• Trợ lý ảo Agentic được tích hợp trong tai nghe và được đào tạo dựa trên thói quen của người dùng.

• Các công cụ đề xuất không gian đề xuất các hành động tại một thời điểm.

• Dịch thời gian thực.

• Tăng cường môi trường cho phép người dùng sắp xếp lại các đối tượng trong không gian của họ.

• Sáng tạo nội dung sáng tạo diễn ra ngay lập tức khi người dùng nói nội dung đó.

  
  

Nhưng nó có thể được thực hiện một cách thanh lịch hơn ...

Biên giới tiếp theo cho máy tính không gian

Nhiều nhà bình luận đã tuyên bố cái chết của Google Glass khi nhìn thấy nó. Ai sẽ muốn đeo máy tính trên mặt? Tại sao bạn lại chọn trông hơi giống một gã ngốc? Nhiều người đã lưu ý rằng không một giám đốc điều hành nào của Apple thậm chí đã thử sử dụng VisionPro như một phần của buổi ra mắt.

Phải có một lý do tốt hơn để đeo một cái hơn là "bởi vì những người khác là như vậy".

Câu hỏi quan trọng về lâu dài sẽ trở thành: Tại sao mọi người lại muốn đeo máy tính XR lên mặt khi bạn có thể có một chiếc máy tính bên trong não của mình?

Phản bác cổ điển đối với điều này sẽ là ý tưởng về ' từ chối '. Khi mọi người đều đeo mặt nạ XR, chúng ta có thể chiếu lại các photon để làm cho nó trông như không có ai. Bởi vì sự từ chối liên quan đến việc tạo ra các photon hoàn toàn mới, mọi người thậm chí có thể làm cho mình trông hoàn toàn khác với những gì họ thực sự làm khi không đeo mặt nạ. Điều này sẽ trở thành một ứng dụng tuyệt vời để đánh cá trê.

Khái niệm sống trong thực tế mở rộng của những người lạc quan về công nghệ cũng giống như sống trong một giấc mơ sáng suốt vĩnh viễn. Mặt nạ ngủ khi bạn đi ngủ, mặt nạ thực tế mở rộng khi bạn ra khỏi đó. Kiểm tra triển lãm A dưới đây:

Mô hình hiện tại của XR dựa vào các thiết bị hỗ trợ ngoài xương này để người dùng điều hướng các thực tế thay thế. Thực tế là chúng ta đã gần như không còn cần phải phụ thuộc vào những phương tiện hỗ trợ này nữa. Vào giao diện não-máy.

chỉ số BMI

Về lâu dài, thực tế được hình dung có khả năng vượt trội hơn bất kỳ dạng thực tế hỗn hợp nào tồn tại ngày nay. Tôi sử dụng thuật ngữ thực tế được hình dung ở đây để mô tả bất kỳ hình thức thay đổi môi trường nào;

a) hoàn toàn có thể tùy chỉnh theo yêu cầu hoặc nhu cầu của người dùng và

b) không yêu cầu thiết bị hỗ trợ đeo được.

Đường dẫn rõ ràng nhất cho thực tế được hình dung ngày nay là giao diện não-máy (BMI). Để có phần mở đầu dài hơn, tôi không thể giới thiệu tác phẩm của Tim Urban về ' Mũ phù thủy cho bộ não ' từ năm 2017 trở lại đây.

BMI mang lại nhiều lợi ích 'tính toán không gian' giống như các công cụ như VisionPro nhưng không cần phải buộc một thiết bị nặng vào mặt. Các nguyên mẫu hiện có của Neuralink cho BMI thương mại đầu tiên liên quan đến cấy ghép xâm lấn, dễ hiểu là khiến nhiều người không thoải mái (ngay cả khi phần thưởng là trí thông minh và trí nhớ siêu phàm). Còn khi những thứ này trở nên ít xâm lấn hơn, dễ tiếp cận hơn và do đó dễ chấp nhận hơn đối với công chúng thì sao?

Thực tế mở rộng rất nhiều.

Yêu cầu khởi nghiệp

• Hệ thống pin tốt hơn cho các thiết bị XR ngày nay. Việc đề cập đến pin đã vắng mặt một cách kỳ lạ trong buổi ra mắt đầu tiên của VisionPro của Apple. Việc sử dụng và trình diễn 'trong thời điểm' ít rõ ràng hơn so với các tính năng thiết kế khác như giao diện, tính toán và trọng lượng (như Kyle Samani đã đề cập trong chủ đề này ) nhưng cũng quan trọng không kém khi được sử dụng hàng ngày.

• Cơ sở hạ tầng xã hội cho một thế giới XR. Không phải kể từ lần hẹn hò đầu tiên chuyển từ quán cà phê sang phòng trò chuyện trực tuyến, hệ thống cốt lõi về cách con người tương tác với nhau về cơ bản đã bị rung chuyển như vậy. Làm thế nào có thể kiểm duyệt hành vi trong một thế giới mà mọi người có thể làm cho mình có vẻ là bất cứ điều gì? (lưu ý: Apple dường như đang làm việc trên một số dạng giao thức chứng minh danh tính có thể bảo vệ chống lại điều này). Loại nội dung nào trở nên phổ biến hơn khi phạm vi của các phương pháp trình bày được mở rộng rộng rãi như vậy? Làm thế nào để mọi người đến với nhau trực tuyến?

• Arm the Rebels: Công cụ sáng tạo cho XR. SecondLife, Minecraft và Roblox đều tạo ra các hoạt động kinh doanh lớn hơn mong đợi nhờ vào các thị trường thứ cấp dành cho tài sản kỹ thuật số. Những thị trường này được kích hoạt bởi các công cụ sáng tạo được đưa vào chính kết cấu của nền tảng.

Mặc dù ngày nay có nhiều nhà phát triển đã làm việc trên các thiết kế cho trải nghiệm mới, v.v. cho tai nghe và các dự án theo phong cách metaverse, làm cách nào chúng tôi có thể làm cho quy trình này dễ tiếp cận hơn đối với người bình thường (cụ thể hơn là Roblocker 8 năm) để tạo ra thế giới trong trí tưởng tượng của riêng họ? Điều gì sẽ xảy ra lần thứ hai của Minecraft đối với mô hình thực tế tăng cường hoặc 'thực tế được hình dung'?

• Designs for Lived Experiences (tức là Qualia). Một phần lớn sức hấp dẫn của thực tế ảo/tăng cường/ảo là ý tưởng sống một cuộc sống khác với cuộc sống hiện tại của bạn. Giống như Dan Burke trong Pygmalion's Spectacles, giờ đây bất kỳ ai cũng có thể tối ưu hóa trải nghiệm sống của họ trong thế giới ảo.

  
  

  Trong trường hợp những công nghệ như vậy trở nên phổ biến, điều này sẽ tạo ra một thị trường toàn cầu khổng lồ cho qualia - những trường hợp tổng hợp của trải nghiệm chủ quan. Phạm vi thiết kế về mặt lý thuyết là vô hạn. Có bao nhiêu cách bạn có thể trải nghiệm cực lạc thuần túy? Hoài cổ? Nhóm phần thưởng dành cho những người có thể mang những loại trải nghiệm này đến thế giới thông qua một số dạng thực tế mở rộng là rất lớn.

Việc phát triển các công cụ để người dùng nắm bắt hoặc tự phát triển những phẩm chất này cũng có thể bị đánh giá thấp. Có thị trường nào cho việc 'ghi lại' trải nghiệm sống của chính mình để chia sẻ với người khác không? Làm cách nào mọi người có thể thiết kế các trải nghiệm mới để đưa ra thị trường và sáng tác trên đỉnh các phẩm chất nguồn mở khác? Làm cách nào chúng tôi có thể đảm bảo quyền riêng tư cho phẩm chất cá nhân nếu chúng bắt đầu được sử dụng trong các công cụ đề xuất?

Đối với những người tò mò, hãy xem Viện nghiên cứu Qualia để tìm hiểu thêm.

• Thị trường phần mềm XR & phần cứng nguồn mở. Một điều mà XR vẫn có điểm chung với các mô hình điện toán khác trước đó là bản chất từ trên xuống của nó. Người dùng tùy ý muốn của Apple về cách họ muốn tương tác với điện thoại của họ. Nếu họ muốn phản đối điều này, họ có thể chọn một trong những lựa chọn hữu hạn đáng thất vọng trên thị trường. Cho đến nay, khả năng kết hợp và khả năng tùy biến trong phần cứng vẫn còn rất hạn chế.

  
  

  Nhưng điều gì sẽ xảy ra nếu chúng ta sử dụng mã nguồn mở để tự phát triển tai nghe thông qua các phòng thí nghiệm phi tập trung? Những người tham gia tích cực có thể làm việc để sửa đổi và lặp lại các thông số kỹ thuật phần cứng khác nhau theo sở thích của họ. Các thiết kế mô-đun có thể cho phép tùy chỉnh ở cấp giáo dân. Cũng quan trọng không kém, các phòng thí nghiệm nguồn mở này sẽ không có động cơ để tạo ra các hệ thống vòng kín để phát triển phần mềm. Các nhà phát triển có thể thử nghiệm, vận chuyển và triển khai mã có thể khả dụng cho tất cả các tai nghe với tốc độ mà họ có thể xây dựng mã đó.

Sự phát triển nguồn mở như vậy sẽ đại diện cho một bước thay đổi trong cách mọi người tương tác với cả phần mềm và phần cứng. Để có thêm cảm hứng, hãy xem công việc tuyệt vời mà nhóm tại Auki Labs đã và đang thực hiện.

• Đại lý người dùng cá nhân. Liên kết với điểm trên, hệ sinh thái phần mềm từ trên xuống ngày nay có nghĩa là các ưu đãi được tích hợp trong phần mềm có xu hướng bị biến dạng. Thay vì tận dụng tối đa tiện ích của người dùng, khuyến khích thị trường dồn các nhà phát triển vào việc xây dựng các ứng dụng dưới mức tối ưu nhằm mục đích tối đa hóa các số liệu như 'thời gian phiên trung bình' hoặc 'tỷ lệ nhấp'.

Cơ hội mà các studio phát triển nguồn mở sẽ phải cạnh tranh với các công ty công nghệ cũ bằng cách xây dựng các tác nhân người dùng ngôn ngữ tự nhiên, riêng tư hoạt động như trợ lý chức năng cho người dùng của họ là rất lớn.