Трекинг рук на Oculus Quest 2: как это работает + список демок | VR419.ru

Трекинг рук на Oculus Quest 2: как это работает + список демок

, обновлен:
Автор: @Pavel419

В этой статье поговорим про трекинг рук на Oculus Quest, что это такое и с чем его едят. Рассматривать будем на примере Oculus Quest 2, который сейчас у меня в наличии.

Трекинг рук был анонсирован на Квестах еще год назад, осенью 2019-го, вот оригинальный ролик того анонса:

Вобщем то, что показано в ролике — правда, но, на практике всё не так гладко.

В чем суть

За счет встроенных в шлем камер шлем не только определяет окружающую обстановку, но и видя ваши руки, может переносить их в VR. Прямо вот как оно есть, вот вам пример из моего окружения:

Пример работы рукотрекинга на Квесте.

Где это можно применить

Я бы применил это в социалках, вроде Вр-Чата и прочего, видеоплеерах и других служебных приложениях. Уже есть наработки по набору текста с использованием трекинга рук, но сходу я их не найду. Правда, пока можно просто тыкать для набора текста своими пальцами (дальше будет пример).

Факи можно показывать так же) VR-факи. Однако, не спешите радоваться, у технологии пока очень много минусов.

Минусы трекинга рук

Рассмотрим их.

  1. Он не слишком точен и часто глючит.
  2. Нужно хорошее освещение. Т.к. у нас в руках нет диодов, как на тачах, то и трекать их камеры смогут только при хорошем освещении. Хотя, при дневном освещении вполне себе работает.
  3. Руки нужно держать примерно в одной зоне перед камерами и она довольно маленькая. Как только куда-то их относишь, трекинг пропадает.
  4. Нет обратной связи, в отличие от тех же тачей.
  5. Пока очень мало приложений поддерживают это. Даже в родных приложениях Окулуса это работает только в меню и в браузере. Надо будет еще поискать.
  6. Это непривычно, и к этому надо привыкать. Хотя сейчас вон в принципе по менюшкам без проблем можно только руками перемещаться, и например, делать скриншот и шарить его в ФБ.

Т.е. по факту сейчас это больше прикольная штука, чем рабочий инструмент. Однако, если у вас уже есть Квесты, попробуйте ее.

Как попробовать трекинг рук на Oculus Quest 2

Вам должны были предложить его в процессе первого включения шлема, но, если вы его пропустили, закрыли (как я) и т.п. — оно находится в разделе обучающих приложений и называется «Hands» (руки):

Ищите приложение «Hands» тут

Там всё понятно, вам покажут несколько жестов, которыми вы можете взаимодействовать с интерфейсом, а именно:

  • направление: указать указательным пальцем нужное направление движения (аналог обычного перемещения мыши);
  • клик: свести большой и указательный палец вместе в момент действия — курсор на мгновение станет синим (аналог клика мыши). Я не сразу понял, как нажать кнопку «Продолжить», вам нужно навести на нее точку указательным пальцем и только после этого сомкнуть со большим;
  • перемещать экран: сомкнуть пальцы в нужном месте, и, когда курсор станет синим — держа пальцы сомкнутыми, начинать перемещение;
  • служебная кнопка Oculus: посмотреть на левую ладонь, и, когда начнет появляться иконка Окулуса, сомкнуть и держать указательный и большой палец, пока она не заполнится;
  • служебная кнопка «меню»: тоже самое, только делается на правой руки.

Понимаю, что описание мутное, но, когда попробуешь и вникнешь, понимаешь, как всё просто и круто продумано)

Краткий видео-обзор:

С 37-й прошивки на жест меню вызывается расширенное меню с несколькими командами: центровка, запись видео, отключение микрофона и голосовое управление. Еще должен быть скриншот, но почему-то у меня его нет…

Больше жестов нет, но даже этого примитива хватает, чтобы управлять интерфейсом. Вы можете открыть служебный браузер, в нем открыть YouTube и рулить им только с помощью пальцев, или твиттер листать какой-нибудь и тому подобное.

После того, как пройдете обучалку — попробуйте попереключаться между вкладками родного меню Oculus, потягать ползунки и так далее — это захватывающе. Но, еще интереснее рассмотреть это на реальных примерах.

Совет: Если шлем не хочет переключаться на трекинг рук и всё равно пытается трекать тачи, снимите тачи, и погасите экраны кратковременным нажатием кнопки включения. Далее, снова включите их, по идее, после этого он должен начать трекать руки.

Начиная с 40-й прошивки, на Quest 2 вышел так называемый Hand Tracking 2.0, в котором было улучшено отслеживание рук и их перекрытия. Про это у меня есть небольшой ролик:

Примеры применения трекинга рук на Oculus Quest 2 в играх

Первая демка: First Steps With Hand Tracking — вы должны были видеть ее в самом начале запуска шлема, но, теперь тут всё работает на руко-трекинге (демка доступна в AppLab — неофициальном магазине Oculus, так что — устанавливайте ее, перейдя по ссылке с ПК):

Демка «Эликсир» (бесплатная) — покажет вам, как это может работать в реальности. Она короткая, там нужно будет освоить телепортацию руками и уничтожить четыре глаза, но, воспринимается интересно. Мое прохождение:

Демка Tiny Castles — это четыре небольших уровня, заточенных под трекинг рук, а так же — интерактивная песочница, где вы сможете попробовать все активности, представленные в игре. Рекомендую, может быть, даже покруче «Эликсира», про который я писал ранее. Мой обзор:

Кроме того, есть еще Waltz of the Wizard: Extended Edition за десять баксов, поддерживающая хендтрекинг. Вы можете глянуть бесплатную версию на Стиме, чтобы понимать, как круто это должно быть с рукотрекингом. Я купил, вот играюсь)

Hand Posing Tool: Pirates! — простая демка, где вы находитесь в каюте на корабле и можете взаимодействовать с различными предметами при помощи рук. Беслпатная:

Есть и другие примеры, но они платные в целом.

Просмотр фильмов с управлением руками

Пока доступно только в бета-версии SKYBOX-а 1.0.4 — мой обзор, как это работает:

А еще это работает в YouTube VR, хотя про это не написано даже в самом магазине:

Как сбросить центровку, когда у вас руки вместо контроллеров?

Этот вопрос у вас может возникнуть после предыдущего видоса со Скайбоксом и это не очевидно. Обычно центровка сбрасывается долгим тапом по правой системной кнопке на таче, но, здесь чуть по другому. Идем в меню, где заряд батарейки и прочее и там ищем эту кнопку:

Сброс центра при работе руками

И еще один способ: просто вызвать на правый жест меню Oculus, ну, вырубить и снова вызывать, тогда меню покажется прямо перед вами. Но, центровки самого окружения при этом не произойдет.

Работа в воркспейсах с применением трекинга рук

Но, выше приведенное это игрушки. А вот вам пример реального использования.

Пока я видел Spatial — бесплатный открытый офис для групповой работы команды разработчиков, проведения совещания и прочего в таком роде. Можно сделать 3D-аватар из фотки, загружать фото и 3D объекты и тому подобное. Но, самое интересное, как вы понимаете — это поддержка трекинга рук. Вот как это выглядит в реальности:

Рукотрекинг в действии

Если хотите попробовать эту штуку, то для начала вам нужно зарегистрироваться на их сайте, после этого запустить приложение на шлеме и в нем вам выдадут код для ввода на сайте, чтобы привязать гарнитуру к аккаунту.

После этого можете выбрать обучающую комнату, пройти всё с помощью тачей и уже потом попробовать рукотрекинг, думаю, вам понравится)

Сыро, глючно, но интересно.

А вот моя целая лекция на полтора часа, в Спейшале, всё на рукотрекинге:

И еще пример от ФБ и Oculus — Horizon Workrooms — виртуальный офис для Oculus Quest. Тут можно собираться группой, шарить картинку с ПК, обмениваться файлами и рисовать на виртуальной доске! Для начала вам нужно будет зарегаться тут и скачать само приложение. А дальше можете пробовать. Мой мини-обзор:

А вот — не лучший пример реализации рукотрекинга в PokerStars VR, хотя, с контроллерами — отличная игра:

Демки с SideQuest-а

Что такое SideQuest и как им пользоваться, читайте тут. Далее я приведу несколько демок с трекингом рук, которые я там нашел.

Hand Physics Lab — подборка простых демок для демонстрации трекинга рук. Вот я пытаюсь чертить по линейке, выходит так себе)

На выбор там десяток таких демок

Вышел в оф.магазине Квеста за 10 баксов.

HandSpace — простая приколюха. Хлопаем в ладоши и смотрим, как наши руки меняют форму, например:

Авторы явно были под веществами)

Hand Tracking Demos — еще одна простая демка, где мы с помощью кнопок, нажимаемых руками, управляем паровозиком:

Можно пустить дым, сделать «ту-ту» и даже управлять его скоростью!

Interdimensional Matter — демка, в которой наши руки искажают пространство:

Там еще и звук замечательный)

Mr. Scribbles — а вот это что-то вроде трехмерного конструктора. Там одних инструкций на всю стену, я пока особо не вникал, получилось вот что:

Что-то непонятное

HandParticle — простая демка, где частицы вылетают из ваших пальцев и вы можете ими управлять. Выглядит прикольно:

Rogue Ascent — а это народ вообще попытался сделать шутер целиком на рукотрекинге, в целом, прикольно выглядит. Мой небольшой обзор:

Если найду еще годных приложений с трекингом рук для Oculus Quest 2 — обязательно допишу в этот пост.

Применение трекинга рук с Oculus Quest 2 на ПК

Да-да, вы не ослышались, его можно юзать и на ПК через Virtual Desktop. В теории хоть в Half-Life: Alyx руками играй без контролеров, но, стоит ли это делать? Подробнее смотрите в моём обзорном видео:

Другие интересные статьи про Oculus Quest 2:

С вами был @pavel419, до новых постов!

Рубрика: Блог о виртуальной реальности (ПК VR) Метки:
Задонатить автору на написание новых статей