Трекинг рук на Oculus Quest 2: что это и как это работает

В этой статье поговорим про трекинг рук на Oculus Quest, что это такое и с чем его едят. Рассматривать будем на примере Oculus Quest 2, который сейчас у меня в наличии.

Трекинг рук был анонсирован на Квестах еще год назад, осенью 2019-го, вот оригинальный ролик того анонса:

Вобщем то, что показано в ролике — правда, но, на практике всё не так гладко.

В чем суть

За счет встроенных в шлем камер шлем не только определяет окружающую обстановку, но и видя ваши руки, может переносить их в VR. Прямо вот как оно есть, вот вам пример из моего окружения:

Пример работы рукотрекинга на Квесте.

Где это можно применить

Я бы применил это в социалках, вроде Вр-Чата и прочего, видеоплеерах и других служебных приложениях. Уже есть наработки по набору текста с использованием трекинга рук, но сходу я их не найду. Правда, пока можно просто тыкать для набора текста своими пальцами (дальше будет пример).

Факи можно показывать так же) VR-факи. Однако, не спешите радоваться, у технологии пока очень много минусов.

Минусы трекинга рук

Рассмотрим их.

1. Он не слишком точен и часто глючит.
2. Нужно хорошее освещение. Т.к. у нас в руках нет диодов, как на тачах, то и трекать их камеры смогут только при хорошем освещении. Хотя, при дневном освещении вполне себе работает.
3. Руки нужно держать примерно в одной зоне перед камерами и она довольно маленькая. Как только куда-то их относишь, трекинг пропадает.
4. Нет обратной связи, в отличие от тех же тачей.
5. Пока очень мало приложений поддерживают это. Даже в родных приложениях Окулуса это работает только в меню и в браузере. Надо будет еще поискать.
6. Это непривычно, и к этому надо привыкать. Хотя сейчас вон в принципе по менюшкам без проблем можно только руками перемещаться, и например, делать скриншот и шарить его в ФБ.

Т.е. по факту сейчас это больше прикольная штука, чем рабочий инструмент. Однако, если у вас уже есть Квесты, попробуйте ее.

Как попробовать трекинг рук на Oculus Quest 2

Вам должны были предложить его в процессе первого включения шлема, но, если вы его пропустили, закрыли (как я) и т.п. — оно находится в разделе обучающих приложений и называется «Hands» (руки):

Ищите приложение «Hands» тут

Там всё понятно, вам покажут несколько жестов, которыми вы можете взаимодействовать с интерфейсом, а именно:

• направление: указать указательным пальцем нужное направление движения (аналог обычного перемещения мыши);
• клик: свести большой и указательный палец вместе в момент действия — курсор на мгновение станет синим (аналог клика мыши). Я не сразу понял, как нажать кнопку «Продолжить», вам нужно навести на нее точку указательным пальцем и только после этого сомкнуть со большим;
• перемещать экран: сомкнуть пальцы в нужном месте, и, когда курсор станет синим — держа пальцы сомкнутыми, начинать перемещение;
• служебная кнопка Oculus: посмотреть на левую ладонь, и, когда начнет появляться иконка Окулуса, сомкнуть и держать указательный и большой палец, пока она не заполнится;
• служебная кнопка «меню»: тоже самое, только делается на правой руки.

Понимаю, что описание мутное, но, когда попробуешь и вникнешь, понимаешь, как всё просто и круто продумано)

Больше жестов нет, но даже этого примитива хватает, чтобы управлять интерфейсом. Вы можете открыть служебный браузер, в нем открыть YouTube и рулить им только с помощью пальцев, или твиттер листать какой-нибудь и тому подобное.

После того, как пройдете обучалку — попробуйте попереключаться между вкладками родного меню Oculus, потягать ползунки и так далее — это захватывающе. Но, еще интереснее рассмотреть это на реальных примерах.

Совет: Если шлем не хочет переключаться на трекинг рук и всё равно пытается трекать тачи, снимите тачи, и погасите экраны кратковременным нажатием кнопки включения. Далее, снова включите их, по идее, после этого он должен начать трекать руки.

Примеры применения трекинга рук на Oculus Quest 2 в играх

Демка «Эликсир» (бесплатная) — покажет вам, как это может работать в реальности. Она короткая, там нужно будет освоить телепортацию руками и уничтожить четыре глаза, но, воспринимается интересно:

Кроме того, есть еще Waltz of the Wizard: Extended Edition за десять баксов, поддерживающая хендтрекинг. Вы можете глянуть бесплатную версию на стиме, чтобы понимать, как круто это должно быть с рукотрекингом:

Есть и другие примеры, но они платные в целом.

Работа в воркспейсах с применением трекинга рук

Но, выше приведенное это игрушки. А вот вам пример реального использования.

Пока я видел Spatial — бесплатный открытый офис для групповой работы команды разработчиков, проведения совещания и прочего в таком роде. Можно сделать 3D-аватар из фотки, загружать фото и 3D объекты и тому подобное. Но, самое интересное, как вы понимаете — это поддержка трекинга рук. Вот как это выглядит в реальности:

Рукотрекинг в действии

Если хотите попробовать эту штуку, то для начала вам нужно зарегистрироваться на их сайте, после этого запустить приложение на шлеме и в нем вам выдадут код для ввода на сайте, чтобы привязать гарнитуру к аккаунту.

После этого можете выбрать обучающую комнату, пройти всё с помощью тачей и уже потом попробовать рукотрекинг, думаю, вам понравится)

Сыро, глючно, но интересно.

Демки с SideQuest-а

Что такое SideQuest и как им пользоваться, читайте тут. Далее я приведу несколько демок с трекингом рук, которые я там нашел.

Hand Physics Lab — подборка простых демок для демонстрации трекинга рук. Вот я пытаюсь чертить по линейке, выходит так себе)

На выбор там десяток таких демок

HandSpace — простая приколюха. Хлопаем в ладоши и смотрим, как наши руки меняют форму, например:

Авторы явно были под веществами)

Hand Tracking Demos — еще одна простая демка, где мы с помощью кнопок, нажимаемых руками, управляем паровозиком:

Можно пустить дым, сделать «ту-ту» и даже управлять его скоростью!

Interdimensional Matter — демка, в которой наши руки искажают пространство:

Там еще и звук замечательный)

Mr. Scribbles — а вот это что-то вроде трехмерного конструктора. Там одних инструкций на всю стену, я пока особо не вникал, получилось вот что:

Что-то непонятное

HandParticle — простая демка, где частицы вылетают из ваших пальцев и вы можете ими управлять. Выглядит прикольно:

Если найду еще годных приложений с трекингом рук для Oculus Quest 2 — обязательно допишу в этот пост.

С вами был @pavel419, до новых постов!