Что такое очки виртуальной реальности и как это работает?

Вступление

Я не буду рассказывать, что такое виртуальная реальность, вы и сами это прекрасно знаете из кучи фантастических фильмов (подборка фильмов о VR). В этой статье я хочу рассказать, в первую очередь, новичкам, чего и как сегодня достигли технологии виртуальной реальности на конец 2018-го года или: что такое очки виртуальной реальности и как это работает? Завсегдатаи 4PDA могут проходить мимо, ничего нового из этой статьи они не узнают (скорее всего), а вот тем, кто ждет «Матрицы» и только задумывается о покупке шлема виртуальной реальности — должно быть интересно. Итак, начнем.

Спойлер — «Матрица» еще очень далеко)

Когда мы смотрим тот или иной фантастический фильм на тему VR, нам показывают разные типы погружения человека в виртуальный мир. Начиная от футуристических шлемов (типа «Джонни-Мнемоник«), заканчивая нейроинтерфейсами, где пользователь запихивает в себя некий имплант (привет, «Экзистенция«). До нейроинтерфейсов мы пока не доросли (хотя, Маск там вроде как мутит что-то на эту тему), и основу VR сегодня составляют так называемые очки или шлемы виртуальной реальности. От них и будем отталкиваться.

Что такое очки виртуальной реальности и как это работает

Шлемов виртуальной реальности на сегодня великое множество. Вот я недавно делал их классификацию, там очень много, почитайте, не поленитесь, здесь я привожу только общие принципы работы VR очков. Каким бы не был VR шлем, он всегда будет работать по схожим принципам, по крайней мере, в ближайшее время.

3D картинка в виртуальной реальности

В любом шлеме у нас имеется экран (или два — в зависимости от вида шлема), на который выводится картинка для двух глаз, то есть — картинка со смещением, для левого и правого. Так же в VR шлеме установлены линзы, через которые вы смотрите на этот экран, в итоге у вас создается иллюзия большого изображения перед вами.

Самый простой пример для понимания — картонный Cardboard:

Сколько бы не стоил тот или иной шлем виртуальной реальности — в нем будет тоже самое (пока не начнут картинку на сетчатку проецировать) — две картинки для двух глаз и линзы для их увеличения.

Разница будет лишь в качестве линз и экранов (технология производства, разрешение и т.п.) Ну и, «настоящие» шлемы напичканы всякими схемами для преобразования сигнала и дополнительными датчиками для отслеживания — но, про это — далее.

Отслеживание положения головы в виртуальной реальности

Подзаголовок глупый, но именно он отражает важное отличие VR-очков от обычного 3D телевизора или монитора.

Суть в том, что в VR шлеме мы не просто смотрим на статичную 3D картинку неподвижно, мы можем в ней поворачиваться на 360 градусов!

Отслеживание поворотов головы с помощью гироскопа (3 DOF)

Или 3-dof (3 степени свободы), как его еще называют на форумах. В любом шлеме VR у нас есть встроенные датчики, в том числе и гироскоп, с помощью которого система может определить, в какую стороны вы повернулись. То есть, такой шлем позволяет отследить повороты головы влево-вправо, вверх-вниз, а так же — наклоны (от плеча к плечу, для лучшего понимания).

То есть — находясь в виртуальной среде, мы можем крутиться в разные стороны и видеть разную картинку.

В дешевых VR очках для смартфона вся работа по определению поворота ложится на гироскоп телефона, если он в нем есть. Если его нет — то вы в лучшем случае сможете только смотреть 3D фильмы в статичной среде. В дорогих шлемах гироскоп уже есть + он куда быстрее телефонного, именно потому картинка в дорогих VR шлемах «стоит как вкопанная», как в реальности, в то время как на телефонах могут быть дрейфы, когда ваша виртуальная среда начнет уезжать в ту или иную сторону, даже если вы не двигаетесь.

То есть, самый простой шлем виртуальной реальности (или очки на базе смартфона) умеет показывать вам 3D картинку и отслеживать повороты и вращение вашей головы в виртуальной среде.

Отслеживание позиции головы («позиционка», 6 DOF)

Повороты — это хорошо, но — нам же хочется большего погружения в виртуальную реальность? Поэтому, более дорогие VR шлемы умеют так же отслеживать изменение позиции вашей головы. Это еще три степени свободы — движение головы вперед-назад, вверх-вниз, влево-вправо:

Отслеживание не только вращения головы, но и ее перемещения, называют так же — 6 DOF — три степени свободы на вращение и три — на перемещение в пространстве.

Чтобы понять, как это — представьте, что в игре на вас летит пуля, вам в лоб (привет, Суперхот). Если у вас отслеживание только 3 DOF (вращение), то, как бы вы не крутились — она всё равно попадет вам в голову, потому что, голова то крутится, но всегда остается на месте. А вот если у вас отслеживание 6 DOF — то вы можете, например, присесть — и пуля пролетит над головой, или сделать шаг влево — и пуля пролетит мимо. Надеюсь, более-менее понятно).

Или, еще пример. В виртуальной реальности на стене висит табличка. С 6 DOF вы можете поднести к ней лицо и посмотреть на нее под разными углами.

Но, как работает такое отслеживание? Здесь есть два варианта:

1. Oculus Rift CV1, Vive и прочие: в шлеме есть датчики, например, инфракрасные, а в комнате устанавливаются сенсоры или базовые станции, которые эти датчики отслеживают и видят их перемещение. В целом, «позиционку» можно прикрутить и к телефону, если докупить Nolo VR.
   

   Датчики для отслеживания положения в пространстве на Oculus Rift CV1. На самом деле, они так не светятся, хз, как они сделали этот снимок.

   2. WMR- подход: шлемы на базе WMR не имеют внешних сенсоров и станций. В них встроены камеры, которые анализируют обстановку в комнате и по ее изменению понимают, что ваша голова перемещается в пространстве:

   

   Lenovo explorer имеет две камеры для отслеживания окружающей среды

У каждого из способов свои плюсы и минусы. Например, сенсоры надо где-то размещать, но с камерами в шлеме не поиграешь в темноте…

Таким образом, делаем вывод, что для лучшего погружения в виртуальную реальность нам нужен VR-шлем с 6 DOF.

Отслеживание рук в виртуальной реальности

Мы уже умеем отслеживать нашу голову в виртуальном мире. Но, как в нем что-то делать? Изначально всё работало либо с клавиатуры, либо с геймпада, а игрок сидел на кресле.

А как насчет пострелять из пистолета, целясь, как в реальности, своей собственной рукой или помахать мечом и порубить супостатов на кусочки?

Для этого были придуманы VR-контроллеры (по сути это джойстики, которые мы держим в руках, а они управляют «руками» внутри виртуальной реальности).

Контроллеры так же напичканы датчиками и гироскопами, и у них тоже может быть 3 DOF или 6 DOF. В первом случае в контроллере только гироскоп (см. автономные шлемы в моей классификации), а значит — система может отслеживать только повороты и вращение такой «виртуальной руки».  Во втором случае, в контроллерах стоят датчики вроде тех, что в Окулусе (см. картинку выше), или банальные светодиоды, как в случае с WMR. Положение Oculus Touch отслеживается теми же сенсорами, что и сам шлем, а WMR-шлемы своими двумя камерами «видят» светодиоды на своих контроллерах:

Важно помнить, что из-за особенностей работы, контроллеры от разных VR-шлемов могут быть не совместимы друг с другом!

Например, Oculus Touch подходят только к шлему Oculus Rift CV1. в том время как контроллеры для WMR совместимы между разными шлемами серии. Так же, контроллеры от Vive будут подходить к новому Pimax 8K. Вобщем, перед покупкой той или иной штуки обязательно убедитесь в совместимости.

Да, есть еще стороннее ПО, которое позволяет лепить контроллеры чуть ли не из теннисных шариков, но для этого нужны камеры от Плейстейшн 3 и это тот еще колхоз, и не везде подойдет.

Перемещение в виртуальной реальности

Отвечаю на вопрос: как здесь ходить?

Есть игры-тиры, где просто стоишь на месте. Есть игры-симуляторы, где управляешь рулем, или на клавиатуре с помощью классического WASD. Есть игры, которые поддерживают геймпад (джойстик) и перемещение на стик. Так же, если в игре небольшая игровая зона, например, площадка, то вы можете просто ходить по комнате, и ваше перемещение перейдет в игру, если у вас отслеживается позиция головы.

В том же настольном теннисе вам просто достаточно делать несколько шагов в разные стороны в реальности, чтобы перемещаться вокруг виртуального игрового стола.

Но, мы рассмотрим два вида перемещения в виртуальной реальности, которые применяются именно в больших мирах, вроде Скайрима или Фалаута (и других подобных играх), где просто ходьбы по комнате уже не достаточно: телепортацию и локомоушен.

Телепортация

До недавнего времени это был чуть ли не единственный способ перемещения в VR. Суть в том, что с помощью стика на VR-контроллере или тачпада (сенсорная панель) мы прицеливаемся, как бы «забрасываем удочку» туда, куда хотим переместиться, после этого отпускаем кнопку и мгновенно оказываемся в новом месте:

Считается, что такой способ перемещения более комфортен для игроков, особенно, для новичков в VR. Хотя, меня он раздражает и мне больше нравится второй способ.

Локомоушен

Его объяснить куда проще. Это «классическое» перемещение с помощью стика на контроллере (или тачпада), как если бы вы решили походить на джойстике или привычном WASD в обычной, не-VR игре. То есть — просто зажали стик в нужную сторону — идем, отпустили — стоим. Для разворотов можно использовать как всё тело, так и — если это предусмотрено игрой — повороты на второй стик в другой руке. Но, часто народ может укачивать при таком способе перемещения, хотя он и кажется наиболее логичным.

Комбо

В некоторых играх есть особо извращенные режимы перемещения, например, в популярном Робо-реколле это смесь телепорта с поворотом, то есть — сначала мы указываем, куда хотим переместиться («удочка»), а потом, удерживая стик, выбираем и направление, в котором хотим смотреть после перемещения. А в это время на нас прут стада роботов, дичь та еще, как по мне. Хотя, игра хорошая.  Так же, в новом Думе (VFR который) кроме телепортов был какой-то недо-локомоушен, когда игрок выбирал направление, а дальше персонаж туда не телепортировался, но скользил…

Какой способ перемещения в VR лучше?

Решает каждый сам, надо пробовать, мне больше нравится локомоушен, хотя он есть не во всех играх.  В любом случае, я всегда за то, чтоб разработчики давали выбор игрокам, как именно им перемещаться. Потому что, комфорт в виртуальной реальности — весьма важная штука. И на тот же РобоРеколл я забил как раз из-за неудобного управления.

Что нам всё это дает — виртуальная реальность в действии

Таким образом, полноценный VR шлем сегодня умеет показывать вам 3D картинку, отслеживать повороты и перемещение вашей головы в пространстве, а так же имеет «руки», которыми вы в этой виртуальной реальности что-то делаете. Вот пример полноценного комплекта виртуальной реальности — мой Oculus Rift CV1 + Oculus Touch:

То есть, вы подрубаете шлем к ПК, ставите сенсоры, как вам нужно, скачиваете ПО для шлема, проходите первичную настройку,  и взяв контроллеры в руки, можете полноценно ходить по виртуальным мирам и взаимодействовать с ними.

Чтобы понять, что сегодня есть в виртуальной реальности, я сделал уже пяток подборок с играми для полноценных ПК-шлемов, можете их почитать.

Раз, два, три, четыре + еще очень хорошие VR игры.

Скажу еще, что из больших игр там есть «Фалаут 4» и «Скайрим VR«.

Как во всё это играется? Ну, как-то так (мой небольшой обзор):

Кроме этого, почитайте вот эту статью, хотя я и пишу там про очки для телефона, но всё это реализуемо и в больших пк-шлемах: Зачем вам нужны очки виртуальной реальности для смартфона

Аксессуары для очков виртуальной реальности

Про шлемы и «руки» к ним я уже сказал, давайте посмотрим, как еще производители предлагают разнообразить наш досуг в VR.

Leap motion — полный перенос рук в виртуальную реальность (без контроллеров)

Я уже писал о них вот тут, но, если кратко — это такая штука, которая крепится на шлем и может считывать положение ваших рук. В каких-то играх это может быть уместно, а где-то — и не очень. Пример — следующее видео:

Microsoft Kinect — перенос всего тела в виртуальную реальность

Спокойно, это не «Матрица», речь идет только о передаче поз. Подобно «липам», про которые я писал выше, Кинект сканирует всё тело и с помощью стороннего софта может перенести его в виртуальную реальность, а точнее, в приложения, которые это поддерживают, например, весьма популярный VR-чат. Тест Kinect-а в нем:

«Безграничные» всенаправленные беговые дорожки для виртуальной реальности

Их уже тоже начали выпускать, например, Virtuix Omni и аналоги. Что это и как это работает — опять проще показать на видео:

И так далее…

Список можно продолжать долго. Например, разрабатываются устройства, которые помогут передавать в виртуальную реальность запахи. Разрабатываются костюмы навроде того, что можно было видеть в фильме «Первому игроку приготовиться«, различные перчатки, в которых вы будете ощущать прикосновение к предметам в виртуальной реальности и так далее.

Вобщем, следите за новостями)

Виртуальная реальность: минусы и проблемы

Рассказывая про виртуальную реальность, нельзя не коснуться и ее проблем и минусов, это особенно важно для новичков, которые имеют на этот счет завышенные ожидания.

Ушат холодной воды, так сказать.

Вот моя полторачасовая лекция на эту тему:

Два года назад я уже писал про это, но, как говорится, воз и ныне там.

Тошнота, головокружение и т.п.

Ставлю это на первое место, так как, есть люди, «которым не заходит» VR по тем или иным причинам. Точнее, причина то ясна — глаза видят одно, а мозг чувствует другое. Лечится длительными тренировками, но опять же — у меня из всех друзей, кто пробовал виртуальную реальность — плохо стало только одному. К тому же, разработчики игр стараются побороть этот эффект, вводя в игру, например, перемещение телепортами, о котором я писал выше, или так называемый «комфортный» режим, когда при повороте картинка затемняется. А в Oculus вобще обещали разработать устройство, которое поможет бороться с этими симптомами.

Пиксельная сетка

Чтобы понять суть проблемы, возьмите свой телефон и посмотрите на его экран через лупу. Именно так вы будете смотреть в шлеме виртуальной реальности — на пиксельный экран через линзы.

Суть в том, что разрешение экранов у VR шлемов всё еще мало, (у моего Рифта, например, это всего 2100*1200 пикселей), а потому эту сетку видно, примерно вот так:

Да, есть, например, Pimax 4K, у которого эта сетка меньше, но с ним вобще отдельная история, можете почитать ее вот здесь. Но, опять, когда очень увлечен процессом, сетка не мешает. Ну и хорошая новость в том, что всё-таки, разрешение экранов в VR постоянно увеличивается.

Малый угол обзора

Он же — эффект «водолазной маски». То есть, когда вы смотрите в шлем, перед вами вполне себе ограниченного размера линзы, а всё остальное — чернота, то есть — линзы не перекрывают весь обзор:

Принято считать сегодняшний угол обзора шлемов виртуальной реальности в 90-110 градусов, в то время как поле зрения в обычной жизни считается 180 градусов. Сейчас выходит Pimax 8K, где обещано 150-200 градусов, но он еще только выходит…

Провода

Если мы говорим про ПК-шлемы, а именно там у нас самые качественные игры сейчас, то этот провод (у правильных шлемов он всего один) будет вам так или иначе мешать. Путаться под ногами, висеть перед руками и так далее. Но это — цена за стабильность работы.

Да, уже есть беспроводной TP-Cast для Vive и вроде как для Oculus Rift CV1, но стоит он, как сами эти шлемы.

Нужен хороший ПК

Опять же, если вы хотите с комфортом находиться в виртуальной реальности, вам нужен и соответствующий компьютер. Вот, например, минимальные требования для Oculus Rift CV1:

Графическая карта: NVIDIA GTX 1050Ti/AMD Radeon RX 470 или более мощные
Альтернативный вариант графической карты: NVIDIA GTX 960/AMD Radeon R9 290 или более мощные
Процессор: Intel i3-6100/AMD Ryzen 3 1200, FX4350 или более мощный
Память: RAM 8 ГБ или более
Видеовыход: Совместимый видеовыход HDMI 1.3
Порты USB: 1 порт USB 3.0 и 2 порта USB 2.0
Операционная система: Windows 10

Да, можно играть на более слабых ПК, можете посмотреть мою старую видюху и проц, но комфорта будет мало.

Громоздкость VR очков и шлемов

Кто бы что ни говорил, но, просидеть день в такой бандурине, которой сейчас являются VR шлемы — не выйдет. А в активных играх вы скорее всего, вспотеете через пол часа, если не раньше. Хотя, в тот же Скайрим я играл по два часа и ок, а вот в теннисе уже минут через двадцать нужно снимать и делать перерыв.

Контент

Хотя, я тут уже приводил кучу ссылок на игры в Steam, но действительно очень годного и классного по-прежнему не так много, как хотелось бы. Хотя, кто-то вобще вон шлем чисто из-за БитСайбера покупает, и ок.

Подводя итог

Как видите, виртуальная реальность сегодня еще очень далека от «Матрицы», но, уже сейчас является весьма необычных и интересным развлечением. Само собой, не без проблем, но и эти проблемы понемногу решаются в той или иной степени. Еще пару лет назад я экспериментировал  в VR с телефоном, а сегодня уже с компьютерным Oculus Rift CV1. И надо сказать, что с каждым годом эта тема становится всё интереснее.

Надеюсь, что эта статья дала вам ответ на вопрос «что такое очки виртуальной реальности», и  какая она — виртуальная реальность в конце 2018-го года и, быть может, вы даже задумались о покупке такого шлема. Тогда ваш следующий шаг — это как раз выбор шлема виртуальной реальности.

На этом всё, с вами был @pavel419, пока!