Содержание статьи (кликабельно)
В этой статье поговорим про трекинг рук на Oculus Quest, что это такое и с чем его едят. Рассматривать будем на примере Oculus Quest 2, который сейчас у меня в наличии.
Трекинг рук был анонсирован на Квестах еще год назад, осенью 2019-го, вот оригинальный ролик того анонса:
Вобщем то, что показано в ролике — правда, но, на практике всё не так гладко.
В чем суть
За счет встроенных в шлем камер шлем не только определяет окружающую обстановку, но и видя ваши руки, может переносить их в VR. Прямо вот как оно есть, вот вам пример из моего окружения:
Где это можно применить
Я бы применил это в социалках, вроде Вр-Чата и прочего, видеоплеерах и других служебных приложениях. Уже есть наработки по набору текста с использованием трекинга рук, но сходу я их не найду. Правда, пока можно просто тыкать для набора текста своими пальцами (дальше будет пример).
Факи можно показывать так же) VR-факи. Однако, не спешите радоваться, у технологии пока очень много минусов.
Минусы трекинга рук
Рассмотрим их.
- Он не слишком точен и часто глючит.
- Нужно хорошее освещение. Т.к. у нас в руках нет диодов, как на тачах, то и трекать их камеры смогут только при хорошем освещении. Хотя, при дневном освещении вполне себе работает.
- Руки нужно держать примерно в одной зоне перед камерами и она довольно маленькая. Как только куда-то их относишь, трекинг пропадает.
- Нет обратной связи, в отличие от тех же тачей.
- Пока очень мало приложений поддерживают это. Даже в родных приложениях Окулуса это работает только в меню и в браузере. Надо будет еще поискать.
- Это непривычно, и к этому надо привыкать. Хотя сейчас вон в принципе по менюшкам без проблем можно только руками перемещаться, и например, делать скриншот и шарить его в ФБ.
Т.е. по факту сейчас это больше прикольная штука, чем рабочий инструмент. Однако, если у вас уже есть Квесты, попробуйте ее.
Как попробовать трекинг рук на Oculus Quest 2
Вам должны были предложить его в процессе первого включения шлема, но, если вы его пропустили, закрыли (как я) и т.п. — оно находится в разделе обучающих приложений и называется «Hands» (руки):
Там всё понятно, вам покажут несколько жестов, которыми вы можете взаимодействовать с интерфейсом, а именно:
- направление: указать указательным пальцем нужное направление движения (аналог обычного перемещения мыши);
- клик: свести большой и указательный палец вместе в момент действия — курсор на мгновение станет синим (аналог клика мыши). Я не сразу понял, как нажать кнопку «Продолжить», вам нужно навести на нее точку указательным пальцем и только после этого сомкнуть со большим;
- перемещать экран: сомкнуть пальцы в нужном месте, и, когда курсор станет синим — держа пальцы сомкнутыми, начинать перемещение;
- служебная кнопка Oculus: посмотреть на левую ладонь, и, когда начнет появляться иконка Окулуса, сомкнуть и держать указательный и большой палец, пока она не заполнится;
- служебная кнопка «меню»: тоже самое, только делается на правой руки.
Понимаю, что описание мутное, но, когда попробуешь и вникнешь, понимаешь, как всё просто и круто продумано)
Больше жестов нет, но даже этого примитива хватает, чтобы управлять интерфейсом. Вы можете открыть служебный браузер, в нем открыть YouTube и рулить им только с помощью пальцев, или твиттер листать какой-нибудь и тому подобное.
После того, как пройдете обучалку — попробуйте попереключаться между вкладками родного меню Oculus, потягать ползунки и так далее — это захватывающе. Но, еще интереснее рассмотреть это на реальных примерах.
Совет: Если шлем не хочет переключаться на трекинг рук и всё равно пытается трекать тачи, снимите тачи, и погасите экраны кратковременным нажатием кнопки включения. Далее, снова включите их, по идее, после этого он должен начать трекать руки.
Примеры применения трекинга рук на Oculus Quest 2 в играх
Демка «Эликсир» (бесплатная) — покажет вам, как это может работать в реальности. Она короткая, там нужно будет освоить телепортацию руками и уничтожить четыре глаза, но, воспринимается интересно:
Кроме того, есть еще Waltz of the Wizard: Extended Edition за десять баксов, поддерживающая хендтрекинг. Вы можете глянуть бесплатную версию на стиме, чтобы понимать, как круто это должно быть с рукотрекингом:
Есть и другие примеры, но они платные в целом.
Работа в воркспейсах с применением трекинга рук
Но, выше приведенное это игрушки. А вот вам пример реального использования.
Пока я видел Spatial — бесплатный открытый офис для групповой работы команды разработчиков, проведения совещания и прочего в таком роде. Можно сделать 3D-аватар из фотки, загружать фото и 3D объекты и тому подобное. Но, самое интересное, как вы понимаете — это поддержка трекинга рук. Вот как это выглядит в реальности:
Рукотрекинг в действии
Если хотите попробовать эту штуку, то для начала вам нужно зарегистрироваться на их сайте, после этого запустить приложение на шлеме и в нем вам выдадут код для ввода на сайте, чтобы привязать гарнитуру к аккаунту.
После этого можете выбрать обучающую комнату, пройти всё с помощью тачей и уже потом попробовать рукотрекинг, думаю, вам понравится)
Сыро, глючно, но интересно.
Демки с SideQuest-а
Что такое SideQuest и как им пользоваться, читайте тут. Далее я приведу несколько демок с трекингом рук, которые я там нашел.
Hand Physics Lab — подборка простых демок для демонстрации трекинга рук. Вот я пытаюсь чертить по линейке, выходит так себе)
На выбор там десяток таких демок
HandSpace — простая приколюха. Хлопаем в ладоши и смотрим, как наши руки меняют форму, например:
Hand Tracking Demos — еще одна простая демка, где мы с помощью кнопок, нажимаемых руками, управляем паровозиком:
Interdimensional Matter — демка, в которой наши руки искажают пространство:
Mr. Scribbles — а вот это что-то вроде трехмерного конструктора. Там одних инструкций на всю стену, я пока особо не вникал, получилось вот что:
HandParticle — простая демка, где частицы вылетают из ваших пальцев и вы можете ими управлять. Выглядит прикольно:
Если найду еще годных приложений с трекингом рук для Oculus Quest 2 — обязательно допишу в этот пост.
С вами был @pavel419, до новых постов!