Как отслеживание всего тела совершает революцию в социальной виртуальной реальности

Изображение предоставлено: трекеры HaritoraX от Shiftall

Погружение — один из наиболее важных компонентов виртуальной реальности. Поскольку компании рекламируют свои VR-продукты, подчеркивая их погружение, ожидания потребителей выше, чем когда-либо. Виртуальная реальность, индустрия стоимостью 16,8 миллиардов долларов , может создавать нереальные впечатления, которые невозможно воспроизвести ни в какой другой среде. Однако чем менее естественным это кажется, тем больше это отвлекает их от этого опыта. Среди наиболее важных аспектов погружения в виртуальную реальность — наше собственное тело. Вот тут-то и приходит на помощь отслеживание всего тела. Давайте поговорим о том, как отслеживание и оценка всего тела меняют то, как мы воспринимаем социальную виртуальную реальность, и что ждет нас на горизонте.

Где мои ноги?

Несколько лет назад, во время ажиотажа вокруг Меты, погружение было часто обсуждаемой темой. Маркетинговый толчок к прыжку Meta в виртуальную реальность обещал мир, в который потребители смогут полностью погрузиться. установить.

Опрос VR-оборудования Steam, проведенный в декабре 2023 года, показал, что Oculus Quest 2 — наиболее используемая гарнитура для платформы виртуальной реальности на ПК.

Помимо мультяшной графики, необходимой для поддержки автономного оборудования Quest 2, самой важной деталью для многих людей было отсутствие ног. Имея только информацию от камер гарнитуры и положений контроллера, оценка позы может дать лишь ограниченную информацию. Однако потребители, естественно, жаждали большего.

Данные Google Trends показывают, что за последние пять лет интерес к отслеживанию всего тела значительно возрос. С 2022 года он неоднократно повышался и стабилизировался, показывая, что потребители интересуются этой темой. Поскольку трекеры IMU, такие как SlimeVR, только сейчас начинают поставляться спонсорам, настал решающий момент для стартапов, чтобы опередить конкурентов, разрабатывая и выпуская трекеры для поддержки пользователей социальных сетей VR. Но что такое отслеживание всего тела и почему люди так сильно этого хотят?

Что такое отслеживание всего тела?

Если энтузиасты виртуальной реальности хотят точно отслеживать ноги, они могут быть удивлены, узнав, что это доступно потребителям уже много лет. Vive выпустила свои первые трекеры с поддержкой базовой станции в 2017 году. Первоначально они продавались для отслеживания объектов реального мира в виртуальной реальности, вскоре они были приняты игроками для отслеживания частей своего тела, таких как ноги, колени, локти и грудь.

Полное отслеживание тела (FBT) позволяет пользователям виртуальной реальности и художникам по захвату движений отслеживать как можно большую часть своего тела. В обоих случаях пользователи переводят реальные движения своего тела в движения аватара. FBT обеспечивает гораздо больше выражений и языка тела, чем могли бы получить пользователи виртуальной реальности в противном случае. Отслеживание всего тела чрезвычайно популярно на социальных VR-платформах, таких как VRChat.

Отслеживание всего тела делает такие занятия, как танцы, гораздо более динамичными в VRChat. Источник изображения.

Если цель состоит в том, чтобы иметь большую свободу передвижения и погружение в виртуальную реальность, есть три подхода:

• Отслеживание на основе маяка: трекеры Vive, Tundra, измерения с помощью внешних базовых станций.

• Отслеживание инерциального измерительного блока (IMU): все измерения выполняются внутри бортовых датчиков.

• Оценка всего тела: альтернатива отслеживанию всего тела, которая вычисляет наиболее вероятные положения тела на основе ограниченной информации.

  
  

Давайте рассмотрим каждый пример глубже, чтобы увидеть плюсы и минусы, а также их потенциал.

Отслеживание маяка

Самым популярным и точным решением для отслеживания всего тела на потребительском уровне в виртуальной реальности является отслеживание маяков. При помощи базовых станций положение трекеров, прикрепленных к вашему телу, измеряется по прямой видимости. Vive и Tundra являются основными производителями в этой области, они известны своей надежностью и простотой в использовании.

Однако отслеживание с помощью маяков обходится дорого. Потребителям не только приходится покупать трекеры по сотни долларов за штуку, но им также нужны дорогие базовые станции и полки для их установки. Отслеживание с помощью маяка может стать жертвой проблем с окклюзией, поэтому трекеры не могут быть закрыты одеждой или другими объектами, такими как одеяла.

Отслеживание инерционного измерительного блока (IMU)

Технология отслеживания IMU становится все более популярной для виртуальной реальности. Трекеры IMU, работающие от отдельных датчиков, не требуют для работы базовых станций. Они могут быть полностью беспроводными и работать от аккумулятора. Однако их сложнее устанавливать и эксплуатировать. Трекеры IMU сложнее настроить, они склонны к дрейфу и требуют время от времени повторной калибровки во время сеансов.

Преимущество трекеров IMU заключается в том, что им не нужна прямая видимость. Это означает, что они могут быть закрыты одеждой или другими предметами. Эта технология отслеживания дешевле, но вариантов не так много. Трекеры Sony Mocopi уже доступны, но стоят довольно дорого. Несмотря на это, трекеры Mocopi по-прежнему дешевле, чем решения для отслеживания на базе маяков.

У SlimeVR есть прошивка для ESP-32/8266 и множества различных аппаратных средств IMU.

Восходящей звездой отслеживания IMU является SlimeVR , проект с открытым исходным кодом для отслеживания всего тела. С помощью SlimeVR каждый может создать свой собственный трекер IMU, если у него есть подходящее оборудование. Благодаря успешной краудфандинговой кампании клиенты могут заказать готовые трекеры SlimeVR прямо сейчас. Однако сроки доставки длительны и могут занять месяцы. Есть несколько альтернатив, использующих протокол SlimeVR. owoTrack — это приложение для Android, которое использует датчики вашего телефона Android в качестве устройства отслеживания всего тела.

Оценка всего тела (FBE)

Хотя это не совсем «отслеживание всего тела», оценка всего тела является альтернативным решением по сравнению с двумя предыдущими вариантами. Вместо того, чтобы использовать специальные трекеры для каждой части вашего тела, FBE вычисляет положение вашего тела на основе данных, которые уже есть в программе. Обычно это делается с использованием положения вашей гарнитуры VR и контроллеров. Однако в других подходах может использоваться что-то вроде сенсора Xbox Kinect или веб-камеры.

Standable — один из самых популярных проектов для оценки всего тела, совместимый со SteamVR. Хотя это и не проект с открытым исходным кодом, его совместимость и простота использования пользуются популярностью среди пользователей: 74% отзывов в Steam являются положительными. Это отличный вариант для тех, кто не может позволить себе более дорогие решения для отслеживания или просто хочет попробовать что-то более точное для измерения своего тела в виртуальной реальности.

Meta также применила этот подход в Quest 3 с функцией «отслеживания всего тела изнутри», которая на самом деле представляет собой просто FBE.

Каково будущее отслеживания всего тела?

Поскольку интерес потребителей к отслеживанию всего тела растет и стабилизируется, становится ясно, что потребительский спрос на отслеживание всего тела растет. Менее ясно, как отреагирует рынок. Есть три переменные, которые повлияют на выбор клиентов при покупке с помощью FBT:

• Сложность настройки

• Расходы

• Точность и производительность

  
  

VR как индустрия начинает оправляться от разочарования. Однако для энтузиастов виртуальной реальности технология отслеживания всего тела существует уже давно, но не в той форме, которая была наиболее доступна для потребителей. Самые простые и высокопроизводительные трекеры требуют значительных инвестиций.

Однако рост количества решений IMU с открытым исходным кодом, таких как SlimeVR, предполагает будущий переворот рынка. Если бы больше компаний вышли на рынок и продавали решения для отслеживания IMU по конкурентоспособным ценам, обладающие высокой производительностью и удобством, можно было бы заработать много денег. То же самое можно сказать, если компании удастся придумать, как снизить стоимость отслеживания с помощью маяков.

Помимо решений IMU, совершенствуются методы оценки всего тела. Возможно, самым простым и лучшим вариантом для большинства людей будет полное отсутствие трекеров. Несмотря на несовершенство, FBE является отличной отправной точкой для улучшения качества и погружения в виртуальную реальность для большинства пользователей.

Время покажет, как изменится рынок, но с появлением краудфандинговых трекеров SlimeVR мне определенно любопытно, как компании отреагируют на растущий спрос на возможность ударить кого-нибудь по лицу или потанцевать в виртуальной реальности.