Содержание статьи (кликабельно)
- 1 В чем суть
- 2 Где это можно применить
- 3 Минусы трекинга рук
- 4 Как попробовать трекинг рук на Oculus Quest 2
- 5 Примеры применения трекинга рук на Oculus Quest 2 в играх
- 6 Просмотр фильмов с управлением руками
- 7 Работа в воркспейсах с применением трекинга рук
- 8 Демки с SideQuest-а
- 9 Применение трекинга рук с Oculus Quest 2 на ПК
В этой статье поговорим про трекинг рук на Oculus Quest, что это такое и с чем его едят. Рассматривать будем на примере Oculus Quest 2, который сейчас у меня в наличии.
Трекинг рук был анонсирован на Квестах еще год назад, осенью 2019-го, вот оригинальный ролик того анонса:
Вобщем то, что показано в ролике — правда, но, на практике всё не так гладко.
В чем суть
За счет встроенных в шлем камер шлем не только определяет окружающую обстановку, но и видя ваши руки, может переносить их в VR. Прямо вот как оно есть, вот вам пример из моего окружения:
Где это можно применить
Я бы применил это в социалках, вроде Вр-Чата и прочего, видеоплеерах и других служебных приложениях. Уже есть наработки по набору текста с использованием трекинга рук, но сходу я их не найду. Правда, пока можно просто тыкать для набора текста своими пальцами (дальше будет пример).
Факи можно показывать так же) VR-факи. Однако, не спешите радоваться, у технологии пока очень много минусов.
Минусы трекинга рук
Рассмотрим их.
- Он не слишком точен и часто глючит.
- Нужно хорошее освещение. Т.к. у нас в руках нет диодов, как на тачах, то и трекать их камеры смогут только при хорошем освещении. Хотя, при дневном освещении вполне себе работает.
- Руки нужно держать примерно в одной зоне перед камерами и она довольно маленькая. Как только куда-то их относишь, трекинг пропадает.
- Нет обратной связи, в отличие от тех же тачей.
- Пока очень мало приложений поддерживают это. Даже в родных приложениях Окулуса это работает только в меню и в браузере. Надо будет еще поискать.
- Это непривычно, и к этому надо привыкать. Хотя сейчас вон в принципе по менюшкам без проблем можно только руками перемещаться, и например, делать скриншот и шарить его в ФБ.
Т.е. по факту сейчас это больше прикольная штука, чем рабочий инструмент. Однако, если у вас уже есть Квесты, попробуйте ее.
Как попробовать трекинг рук на Oculus Quest 2
Вам должны были предложить его в процессе первого включения шлема, но, если вы его пропустили, закрыли (как я) и т.п. — оно находится в разделе обучающих приложений и называется «Hands» (руки):
Там всё понятно, вам покажут несколько жестов, которыми вы можете взаимодействовать с интерфейсом, а именно:
- направление: указать указательным пальцем нужное направление движения (аналог обычного перемещения мыши);
- клик: свести большой и указательный палец вместе в момент действия — курсор на мгновение станет синим (аналог клика мыши). Я не сразу понял, как нажать кнопку «Продолжить», вам нужно навести на нее точку указательным пальцем и только после этого сомкнуть со большим;
- перемещать экран: сомкнуть пальцы в нужном месте, и, когда курсор станет синим — держа пальцы сомкнутыми, начинать перемещение;
- служебная кнопка Oculus: посмотреть на левую ладонь, и, когда начнет появляться иконка Окулуса, сомкнуть и держать указательный и большой палец, пока она не заполнится;
- служебная кнопка «меню»: тоже самое, только делается на правой руки.
Понимаю, что описание мутное, но, когда попробуешь и вникнешь, понимаешь, как всё просто и круто продумано)
Краткий видео-обзор:
С 37-й прошивки на жест меню вызывается расширенное меню с несколькими командами: центровка, запись видео, отключение микрофона и голосовое управление. Еще должен быть скриншот, но почему-то у меня его нет…
Больше жестов нет, но даже этого примитива хватает, чтобы управлять интерфейсом. Вы можете открыть служебный браузер, в нем открыть YouTube и рулить им только с помощью пальцев, или твиттер листать какой-нибудь и тому подобное.
После того, как пройдете обучалку — попробуйте попереключаться между вкладками родного меню Oculus, потягать ползунки и так далее — это захватывающе. Но, еще интереснее рассмотреть это на реальных примерах.
Совет: Если шлем не хочет переключаться на трекинг рук и всё равно пытается трекать тачи, снимите тачи, и погасите экраны кратковременным нажатием кнопки включения. Далее, снова включите их, по идее, после этого он должен начать трекать руки.
Начиная с 40-й прошивки, на Quest 2 вышел так называемый Hand Tracking 2.0, в котором было улучшено отслеживание рук и их перекрытия. Про это у меня есть небольшой ролик:
А на 50-й прошивке они и вовсе добавили управление пальцами, когда прямо пальцами касаешься панелей, меню, и прочего. Прикольно, но, надо привыкать:
Примеры применения трекинга рук на Oculus Quest 2 в играх
Первая демка: First Steps With Hand Tracking — вы должны были видеть ее в самом начале запуска шлема, но, теперь тут всё работает на руко-трекинге (демка доступна в AppLab — неофициальном магазине Oculus, так что — устанавливайте ее, перейдя по ссылке с ПК):
Демка «Эликсир» (бесплатная) — покажет вам, как это может работать в реальности. Она короткая, там нужно будет освоить телепортацию руками и уничтожить четыре глаза, но, воспринимается интересно. Мое прохождение:
Демка Tiny Castles — это четыре небольших уровня, заточенных под трекинг рук, а так же — интерактивная песочница, где вы сможете попробовать все активности, представленные в игре. Рекомендую, может быть, даже покруче «Эликсира», про который я писал ранее. Мой обзор:
Кроме того, есть еще Waltz of the Wizard: Extended Edition за десять баксов, поддерживающая хендтрекинг. Вы можете глянуть бесплатную версию на Стиме, чтобы понимать, как круто это должно быть с рукотрекингом. Я купил, вот играюсь)
Hand Posing Tool: Pirates! — простая демка, где вы находитесь в каюте на корабле и можете взаимодействовать с различными предметами при помощи рук. Беслпатная:
Есть и другие примеры, но они платные в целом.
Просмотр фильмов с управлением руками
Пока доступно только в бета-версии SKYBOX-а 1.0.4 — мой обзор, как это работает:
А еще это работает в YouTube VR, хотя про это не написано даже в самом магазине:
Как сбросить центровку, когда у вас руки вместо контроллеров?
Этот вопрос у вас может возникнуть после предыдущего видоса со Скайбоксом и это не очевидно. Обычно центровка сбрасывается долгим тапом по правой системной кнопке на таче, но, здесь чуть по другому. Идем в меню, где заряд батарейки и прочее и там ищем эту кнопку:
И еще один способ: просто вызвать на правый жест меню Oculus, ну, вырубить и снова вызывать, тогда меню покажется прямо перед вами. Но, центровки самого окружения при этом не произойдет.
Работа в воркспейсах с применением трекинга рук
Но, выше приведенное это игрушки. А вот вам пример реального использования.
Пока я видел Spatial — бесплатный открытый офис для групповой работы команды разработчиков, проведения совещания и прочего в таком роде. Можно сделать 3D-аватар из фотки, загружать фото и 3D объекты и тому подобное. Но, самое интересное, как вы понимаете — это поддержка трекинга рук. Вот как это выглядит в реальности:
Рукотрекинг в действии
Если хотите попробовать эту штуку, то для начала вам нужно зарегистрироваться на их сайте, после этого запустить приложение на шлеме и в нем вам выдадут код для ввода на сайте, чтобы привязать гарнитуру к аккаунту.
После этого можете выбрать обучающую комнату, пройти всё с помощью тачей и уже потом попробовать рукотрекинг, думаю, вам понравится)
Сыро, глючно, но интересно.
А вот моя целая лекция на полтора часа, в Спейшале, всё на рукотрекинге:
И еще пример от ФБ и Oculus — Horizon Workrooms — виртуальный офис для Oculus Quest. Тут можно собираться группой, шарить картинку с ПК, обмениваться файлами и рисовать на виртуальной доске! Для начала вам нужно будет зарегаться тут и скачать само приложение. А дальше можете пробовать. Мой мини-обзор:
А вот — не лучший пример реализации рукотрекинга в PokerStars VR, хотя, с контроллерами — отличная игра:
Демки с SideQuest-а
Что такое SideQuest и как им пользоваться, читайте тут. Далее я приведу несколько демок с трекингом рук, которые я там нашел.
Hand Physics Lab — подборка простых демок для демонстрации трекинга рук. Вот я пытаюсь чертить по линейке, выходит так себе)
На выбор там десяток таких демок
Вышел в оф.магазине Квеста за 10 баксов.
HandSpace — простая приколюха. Хлопаем в ладоши и смотрим, как наши руки меняют форму, например:
Hand Tracking Demos — еще одна простая демка, где мы с помощью кнопок, нажимаемых руками, управляем паровозиком:
Interdimensional Matter — демка, в которой наши руки искажают пространство:
Mr. Scribbles — а вот это что-то вроде трехмерного конструктора. Там одних инструкций на всю стену, я пока особо не вникал, получилось вот что:
HandParticle — простая демка, где частицы вылетают из ваших пальцев и вы можете ими управлять. Выглядит прикольно:
Rogue Ascent — а это народ вообще попытался сделать шутер целиком на рукотрекинге, в целом, прикольно выглядит. Мой небольшой обзор:
Если найду еще годных приложений с трекингом рук для Oculus Quest 2 — обязательно допишу в этот пост.
Применение трекинга рук с Oculus Quest 2 на ПК
Да-да, вы не ослышались, его можно юзать и на ПК через Virtual Desktop. В теории хоть в Half-Life: Alyx руками играй без контролеров, но, стоит ли это делать? Подробнее смотрите в моём обзорном видео:
Другие интересные статьи про Oculus Quest 2:
- Почему я решил обновиться на Oculus Quest 2 с Oculus Rift S
- Какие приложения/игры установить/купить для Oculus Quest 2
- Что делать после покупки Oculus Quest 2: пошаговый гайд
- Аксессуары для VR шлема Oculus Quest 2 — что можно докупить?
- Полезные фишки по работе с Oculus Quest 2
- Проблемы с Oculus Quest 2 и способы их решения
- Интересные игры и приложения из SideQuest для Oculus Quest 2
- Как смотреть видео с ПК на Oculus Quest 2 через SKYBOX
- Firefox Reality — лучший браузер для Oculus Quest 2 и просмотра YouTube в VR
- Разработка приложений под Oculus Quest 2 на Unity
С вами был @pavel419, до новых постов!