Deep Desktop — делаем 3D из чего угодно

Всем привет, с вами @Pavel419 и это заметка о том, как сделать 3D вообще где угодно, причем, на лету́, без конвертации и прочего:

• в видосах с Ютюба;
• на ваших фотках;
• в обычных фильмах;
• в плоских играх….

В общем, всё то, что может отображаться на вашем рабочем столе ПК — можно превратить в 3D. С оговорками, само собой, про это в конце статьи.

Звучит как фантастика? Всё верно, она и есть. Но, мы живем в век нейросетей, которые нам и помогут. Вот вам живой пример, скрин сделан мной из обычной картинки, точнее, скриншота из игры:

Понятно, что «выпячивать» ничего не обязательно, на виртуальной экране вы можете просто увидеть 3D. Я просто показываю, что нейросетки реально распознают то, что перед ними и позволяют делать даже такое…

Дальше разберёмся, как настроить такую красоту

Видео-инструкция

Дальше я вставлю сюда небольшой видос, где показываю, что как настраивать, а сама статья — по сути просто пересказ видоса со скринами, для тех, кому удобнее читать, чем смотреть, но, помните, что статью я обновляю, а ролик — нет, так что, статью тоже потом почитайте:

И второй ролик, там показаны новые фишки, которые так же есть в этой статье:

Мои железки

Для понимания, на момент написания статьи я использую:

• VR шлем Pico 4 + Virtual Desktop для беспроводного стрима с ПК;
• Процессор AMD Ryzen 5 2600X;
• Видеокарта Nvidia 3060 на 12 гигов;
• 16 гигов оперативки;
• Винда 10-ка;

Помните, что, преобразование в 3D достаточно трудоёмкая задача и будет хавать ресурсы вашего ПК.

Первичная настройка

Для начала вам нужно купить в Steam вот эту софтину, я брал за 210 рублей, так она стоит вроде бы 250… и оно стоит этих денег!

ВАЖНО: Я подписан на бета-тестирование, потому сразу получаю новые фишки (и баги!). Если в этой статье вы увидите функцию, которой нет у вас — так же переключитесь на бету, но, помните, что иногда может понадобиться переустановить модели при использовании новой сборки проги:

Если вам нужны новые фишки

Покупаем софтину, скачиваем. Подрубаем шлем, запускаем софтину, у вас в шлеме появится сообщение про то, что надо снять гарнитуру и настроить всё на ПК, а на ПК вы увидите вот такое меню (собственно, я и сел писать эту инструкцию, т.к. в самой проге ее нет, и если вы просто купите софтину — вы не вкурите, что тут вообще происходит, поставите диз и вернёте деньги — именно поэтому у нее сейчас рейтинг 58%, народ просто не понимает, что там надо делать — к счастью, после моего видоса и статьи рейтинг уже 70%+):

Примечание: Начиная с версии 1.03 автор добавил в меню «Быстрый старт», но, я всё равно рекомендую сделать первую установку по описанию далее, папку для модели точно в опциях пропишите. Потом можно будет запускаться через быстрый старт

Первое и важное: прога будет качать модели, которые нужны для работы, и качать она их будет по умолчанию на диск С, там что-то около 5-15 гигов. Если у вас, как и у меня, там мало место, то, делаем следующее:

• Где-то на другом диске (желательно SSD) создаете папку под эти модели, например, я создал папку 3D models в корне своего игрового SSD;
• Дальше идете в Options и там прописываете путь до вашей папки в поле Path, при этом нажимаем кнопку надо этим полем, чтобы применить изменения:

Теперь прога будет качать модели в эту папку, но, походу не всё она туда качает, однако, разработчик пишет, что там не всё от него зависит и часть таки будет качаться на диск С, но, это лучше, чем ничего.

Далее идём в раздел local, и в нём выбираем нужную нам модель, которую будем использовать. Сейчас рекомендуют Depth-Anything-V2, но, хз, чего там будет через месяц (про модели подробнее — дальше в статье). Выбираем ее, жмем на Setup:

На следующем шаге нужно выбрать способ, который будет использован для работы программы. Если у вас доступно Nvidia CUDA — выбираете его (оно доступно только для карт Nvidia, как несложно догадаться из названия). Если нет — то первый вариант Direct ML — он хуже, но, лучше, чем ничего:

Там есть еще две строчки снизу, это для других способов работы, я особо не вникал. Как я понял, они дают лучшее качество, но и большую нагрузку на железки. Дальше вы увидите, что моей 3060-й вполне хватает и дефолтных настроек, чтоб начать тупить)

Жмём кнопку Setup и ждём, пока оно скачает все потроха и кнопка Donе станет зеленой:

Качать оно может долго, в зависимости от вашего соединения. У меня эта модель на диске занимает 5 гигов и еще гига три на системном тоже куда-то делось, видимо, на кеш и прочее.

ВАЖНО: Если закачака не идет — проверьте антивирусы, брендмауэр и прочее, что может ей мешать. У меня только виндовый Дефендер, с ним всё без проблем скачалось. А какой-нить Касперский, наверняка, начал бы мешать — именно поэтому я от него отказался. Ибо, он даже Steam в какой-то момент начал блокировать

После того, как всё скачалось, жмём снова Donе внизу и выбираем нашу скачанную модель, жмём Use рядом с ней:

После этого ждем еще несколько секунд, пока у нас прогрузится рабочий интерфейс:

Параметр Capture Res. — это разрешение захвата для преобразования. Чем он выше, тем чётче картинка, но, тем больше ресурсов потребуется. Можете ставить полтинник, если не видите разницу. Но, на фотках и видосах с Full HD экраном я оставил сотку, оно не сильно нагружает, в отличие от следующего параметра.

Depth Res. — это разрешение 3D. Чем оно выше, тем лучше будет качество 3D, но, так же, потребуется больше ресурсов. Я оставляю по дефолту на 182, Например, переключение на 400 сразу увеличивало нагрузку на видюху с 60% до 80%.

С управлением через кнопки на клавиатуре — поэкспериментируйте, там будет экран колбасить знатно потом) Это работает и на контроллерах. Сбросить экран к обычному виду — на R или на нажатие стика сверху, если вы используете контроллеры.

Ползунок Field of view отвечает за размер виртуального экрана, который вы будете видеть в шлеме. Прежде, чем его двигать, обязательно сбросьте все искажения, на R или на стик сверху, иначе при увеличении размера экрана его начнёт «разрывать».

Ползунок «Screen Angle» — это угол наклона экрана, например, если вы решили посмотреть фильм лёжа — можете загнать экран под потолок без проблем.

Кстати, на кнопку «Меню» на контроллере сбрасывается центр экрана

А еще я рекомендую настроить управление «размера экрана» и «углом наклона» — на контроллерах, ибо это сильно удобнее, чем постоянно лазить в эту менюшку. Как это сделать — есть дальше в статье, в раздели про настройки управления

Еще одно важное поле —App Name. Дело в том, что эта софтина не всегда работает с полноэкранными приложениями и возможно, вам нужно будет перевести ваше приложение в оконный режим и выбрать в этом поле его название, тогда всё заработает. Но, сам я пока не пробовал, тестировал на фотках и видосах, там я ничего не выбирал, всё итак работало.

Обратите внимание на стрелки по бокам меню — после их нажатия включается второе меню, с настройкой фона и другими фишками, про которые я рассказываю далее!

После того, как вы установили все эти настройки — нажимаете Старт внизу экрана и у вас он должен подсветиться желтой рамкой по бокам — значит, всё заработало:

Нагрузка на железки так же вырастет.

Поздравляю, первичная основная настройка закончена!

Теперь надеваете шлем, переключаетесь в VR если еще не,  и смотрите на 3D где угодно. Т.е. всё, что отображается на вашем рабочем столе — должно получить глубину. У меня это работает, лучше всего заметно на фотках, особенно, если там размытый задний вроде боке́, та самая картинка с абсентом из ролика, попробуйте на ней)

Так же, хорошо работает с видосами, где показан игровой геймплей, например, Робоквест  или вон трейлер Нивалиса гляньте. Да в целом, много где работает. Я еще сам до конца не понял, насколько это круто) Но, даже эти результаты впечатляют. А еще любую игру теперь можно протестировать на 3D по трейлеру на Ютюбе.

Чтобы остановить процесс преобразования в 3D — жмёте «Стоп».

Быстрый старт

Начиная с версии 1.03 разраб добавил в прогу «Быстрый старт». После того, как вы проделали вышеописанное в статье, теперь, чтобы снова запустить конвертацию в 3D, вы подрубаете шлем к ПК, запускаете прогу и выбираете в меню «Быстрый старт»:

После чего, выбрав нужные галочки и модель, жмете Сontinue:

У вас должен сразу запуститься интерфейс проги, без выбора модели и прочего, остается только нажать Старт — и наслаждаться 3D. Не забывайте менять разрешение 3D, если будет тупить:

Вот вроде и всё

Настройки управления на контроллерах

Я выше писал это в одну из проблем, но, меньше чем за сутки разраб сделал что я просил (к вопросу — зачем надо покупать прогу и поддерживать разработку).

Проблема была в том, что всё управление контентом производилось с клавиатуры, а на контролерах можно было только менять размер экрана. Пока ты сидишь за компом — всё норм, но, я ж хочу сидеть на кресле в трех метрах от компа и смотреть всё по беспроводу!

В бета-версии он добавил в Опциях раздел «Controls», где вы можете выбрать, какие кнопки на ПК будут нажимать стики, ккурок и т.п. Скорее всего, когда вы читаете эту статью, оно уже вышло в релиз:

Я сделал вот так, плюс пробел на курок:

Теперь, в браузере (я юзаю Яндекс-Браузер) или в видео плеере (я юзаю MPC-HC) на стик влево-вправо мы можем перематывать, на вверх-вниз менять звук, а на курок ставить на паузу и возобновлять просмотр. А в фотовьювере (я юзаю FastStone Image Viewe) — так же на стик влево-вправо листаем фотки, на вверх их зумим и можем перемещать тем же стиком, а на курок — возвращаем к исходному размеру. Просто и изящно и не надо выходить на рабочий стол.

Да и многие вещи так же можно настроить на контроллерах, следите за обновлениями проги

Потом разраб добавил возможность настраивать действия для каждого контроллера отдельно и на второй контроллер я «повесил» изменение размера экрана и его наклон. Оставшиеся кнопки можно будет назначить для каких-то специфических функций в разных программах, или для фильтра глубины, если он вам понравится.

Теперь я вообще доволен! Очевидно, что просмотр фильмов будет теперь через DD и SVP, жаль, в Скайбоксе был красивый кинотеатр… Впрочем, я уже попросил добавить возможность устанавливать в качестве фото свои панорамы. И — разработчик это сделал!

Свои фоны для окружения

С первого момента запуска, когда я увидел, что, из фонов у нас только градиент — я приуныл. Нет, конечно, можно смотреть фильм вообще на чёрном фоне и не обламываться, да и против градиентов я ничего не имею, закат — это красиво!

Однако, я привык к тому же Скайбоксу, там крутой кинотеатр

Увы, полноценных 3D окружений тут нет, но, я попросил разраба добавить возможность ставить свои панорамные фотки для фонов, как делал это когда-то раньше еще в Whirligig-е (почитайте, там вся теория расписана).

Ну, он и добавил, за что ему очередной раз спасибо. Это всё во «вторых настройках», для перехода к которым надо нажать стрелку слева или справа в основных настройках. Там и фон, и фильтр глубины и т.п. Тут сразу несколько переключателей, выбираете свой фон, можете даже эмбилайт врубить, если хотите (это такой динамический эффект освещения, когда фон подстраивается под цвета на экране, в целом прикольно, но, при стриме через Virtual Desktop бывают артефакты сжатия):

Кстати, когда вы выберете картинку для фона — она применится только в виаре! Я сначала подумал, что фишка не работает…

По итогу я получит вот такое:

Поддерживаются фотки HDR, jpg, png и так далее…

Вроде мелочь, а приятно, теперь Deep Desktop это практически полноценный VR видео-плеер, еще и с 3D!

Правда, в итоге я всё равно оставил «эмбилайт», это, как по мне, наиболее круто смотрится:

Теперь я фильмы так и смотрю: обычные 2D в Deep Desktop, который делает 3D + SVP который делает 60 FPS. Ну, а 3D — в старом добром Вирлигиге (где так же прикручен SVP). Это и есть будущее: 60 FPS + 3D — где угодно

Тестирование в играх

Как я писал выше, лучше всего эта тема работает на фотках и видосах — и комп не сильно грузит и эффект прикольный. На играх, тоже работает, но…

Я решил сразу взять быка за рога и протестировать это на Киберпанке 2077 — и протестировал. Я ожидал, что, будет вообще неюзабельное слайдшоу, но, жить можно.

Само собой, я вырубил все лучи, поставил DLSS на баланс и снизил всё, что касается теней. Результаты — на следующей инфографике, игра запущена в Full HD и оконном режиме. Это — встроенный игровой бенчмарк, думаю, все его знают:

Ожидаемо, 3D стоит дорого. Даже если это псведо3D. При этом, через Deep Desktop оно вроде как получше, чем через ReShade (местами вполне себе похоже на честное «геометрическое»), но, тут есть другая проблема. По крайней мере, на данном этапе развития софта.

Когда я использую ReShade в связке с Virtual Desktop (про это я писал отдельную статью и делал несколько видосов), я выбираю в Virtual Desktop

большой монитор близко ко мне

т.е. ставлю размер виртуального экрана так, чтобы он перекрывал мне обзор , а сам экран ближе к себе. Таким образом, я получаю чёткую и читабельную картинку и «эффект большого монитора» перед собой.

Но, есть еще и второй подход — распердолить экран во всю стенуу, выбрав его максимальный размер и отодвинуть дальше от глаз, чтобы сымитировать «эффект кинотеатра». Так тоже можно сделать, но, в таком случае, надписи становятся мутными и не очень читабельными, при том, что сам экран огромный. Такой вот парадокс.

Так вот, проблема в том, что в Virtual Desktop у меня есть выбор, как размещать экран и его размер, а в Deep Desktop у меня только ползунок поля обзора, который просто делает экран больше-меньше, но, никак не влияет на его расстояние. И мы всегда получаем «эффект кинотеатра». Это норм для фильмов, видосов и проч, там, где ничего не надо читать. Но, если в игре есть HUD — т.е. тексты, квесты, карта и тп.. — как по мне, это смотрится не очень. Оно «размыливается.» Открыв свой текстовый редактор, я не сразу понял, что не так при просмотре через Дип Десктоп, а потом понял — текст мутноват.

Поэтому, вывод для меня такой: если игра нормально работает через Решейд (а с ним работают не все игры, точнее, не во всех играх там ощущается 3D), то, лучше использовать его. И ресурсов потребляет поменьше.

Deep Desktop хорош для фото и видео и для тех случаев, где Решейд не работает, или работает хуже

Впрочем, если вы запустите условный Квейк, где читать не надо — оно и через Дип Десктоп тоже будет норм. Просто в Киберпанке дофига всего висит по краям экрана, там это критично…

П.С. Потом я обнаружил, что можно выставить Capture Res. на сотку и текст станет чётче, но, в Киберпанке уже не проверял

По поводу моделей

В программе их сейчас пять. Дальше в статье — ссылки на онлайн-тестирование этих моделей, вы без проблем можете загрузить в них любую фотку и сами глянуть, как они делают 3D. Как и глянуть то, что тема вообще рабочая, а не моя выдумка)

Разраб рекомендует Depth Anything V2, чел в комментах рекомендовал мне для фоток ZoeDepth. Конкретно, версию ZoeК (ее выбор появится после установки самой модели, хотя разницы между этими тремя версиями я не увидел и в инете тоже не смог найти, в чем прикол)

Все модели делают 3D по своему. Как я понял, Depth Anything V2 более универсальна и старается делать более реалистичное 3D, при том, что ZoeDepth и Marigold вроде как тоже делают 3D, но, если мы берем видео или фото с людьми — то они выносит их на передний план, это не слишком реалистично, но, очень эффектно, как будто они правда сидят перед тобой. Две оставшиеся я не тестировал.

Вот три карты глубины. А нет, всё же четыре:

Во втором случае я взял картинку с Marigold (это еще одна модель, народ видимо, тоже в «Ведьмака» переиграл, собственно, причем тут Трисс) , т.к. она тоже «выпячивает» людей на передний план, но, при запуске стала просто артефачить даже на статичных фотках. Поэтому я ее удалил. Впрочем, ZoeDepth тоже заработала у меня не с первого раза, но, с каким-то шаманством я её завёл. Теперь работает норм.

Что использовать вам? Помимо Depth Anything V2 так же рекомендую попробовать и ZoeDepth — везде, где есть люди, оно выглядит сильно эффектнее. Оставил ее для фоток, с видосами пока не решил, она как-будто медленнее работает, но, ресурсов жрёт точно больше и там нет настроек.

Потом оставите что понравится. Каждая из моделей весит 5-7 гигов. Ну и не забываем, что всё это развивается прямо сейчас, Depth Anything V2 вышла буквально в середине июня 2024-го и разраб сразу добавил ее в Deep Desktop. Надеюсь, дальше в том же духе, а пока — как-то так.

Да, просто для понимания, еще одни пример со сложным фоном — та самая фотка абсента с глубиной:

Важное про контент с «рамками»

Если вы просто смотрите фото, играете в игры или ваш контент целиком умещается в ваш обычный монитор, то всё ок, дальше можно не читать. Но, если вы смотрите фильм, который идет с «рамками» (например, у вас экран 16 к 9 а фильм 1920 на 890 и т.п.), то, эффект 3D может быть весьма странным, и вот почему.

Модели, как и софт, который их использует, т.е. наш Deep Desktop — анализируют вообще всё, что у вас на экране, рамки в том числе. Это просто проверяется.

Допустим, у нас есть фотка Трисс, и она у нас в полноэкранном режиме. Тогда модель определит 3D как-то так:

Но, чтоб будет, если добавить ту самую рамку? А будет вот что: рамка будет на переднем плане, и это будет уменьшать эффект самого кадра:

Я не сразу понял, что не так, когда запустил сериал, типа 3D какое-то не такое, как в Ютюбе было. Почесал репу, да, это оно.

Пока я вижу единственное решение этой проблемы — увеличивать кадр в плеере по высоте так, чтоб рамки не оставалось, само собой, что часть кадра мы тоже теряем, он вылазит за края экрана. Такие дела…

Апдейт: начиная с версии 1.1.0 разраб добавил вертикальную обрезку и теперь проблема, о которой я писал выше — решена:

«Вылеты» и фильтр глубины

Одной из фишек приложения, (хз, баг это или фича — для меня фича) — является его способность «играть» с глубиной. Т.к. на кнопки WASD можно двигать 3D. Как это работает. Допустим, у нас есть какая-то фотка человека или объекта. Если нажать W на клаве или настроить на контроллерах «Moving forward» — то то, что система считает 3D — начнет «выпирать» вперед, прямо из экрана, при этом всё еще оставаясь 3D! Кстати, так легко проверить, работает у вас 3D эффект вообще или нет.

Эта тема уже прикольная сама по себе, именно так сделана стартовая картинка с Трисс в этой статье. Я взял фотку и «вытащил» ее вперед. Но, можно пойти дальше!

Я попросил разраба сделать «фильтр глубины» для другой хорошей фишки, про которую будет далее. Собственно, в чем идея. Т.к. у нас есть сцена с глубиной «ближе-дальше», то, мы можем всё, что дальше некоторого порога — отсекать, и заполнять цветом фона. Звучит мутно и непонятно, но, когда увидите пример — поймете.

Этот режим активируется по нажатию на одну из стрелок слева или справа от основного мена старта. Что тут у нас?

Тут нас интересует две вещи:

• Enable background depth filter — включить фильтр глубины, ставим Yes;
• Filter intensity — собственно, сила того, как будет работать этот фильтр. В левом положении он никак себя не проявляет, но, когда вы начнете смещать его вправо — он начнет в реальном времени удалять задний фон фотки!

В итоге, мы можем для любого фото получить что-то вроде 3D модели или голограммы, если хотите( прямо перед нами. Вытягиваем вперед, подчищаем фон и получаем вот такое:

Чтоб сбросить «выпячивание» — жмем R на клаве или стик сверху, если у вас контроллеры настроены по дефолту. В настройках это называется «Reset position«. Не путать с «Reset orientation«, который сбрасывает центр камеры.

Рекомендую настроить управление фильтром глубины в реальном времени на контроллерах, это команды «Increase depth filter intensity» — увеличить и «Decrease depth filter intensity» — уменьшить интенсивность фильтра. Я повесил на Х и У, теперь в любой момент можно и к фото и к видео применять!

Да, эта тема сработает не везде, где-то будут артефакты, где-то будет косячить само 3D и фон будет убираться не идеально, задевая сам объект. Но, там, где это получается — выглядит очень круто) Для работы с фотками, как писал выше — рекомендую модель ZoeDepth, она лучше отделяет планы.

И да, это не сработает с видео, т.к. сетка не успевает вырезать фоны в реалтамйке, плюс, в видео всегда движение, а значит, и эта вырзека будет косячить… впрочем, про это далее

3D AR голограммы

Помните, выше в статье я говорил про крутую идею, которую я придумал? Это вот оно!

Дальнейшая тема родилась из идеи, что было бы круто, если б можно было ютюберов смотреть прямо в AR, типа вот они сидит перед тобой такие в 3D, прямо у тебя дома, ну, вот так, а ты на них смотришь:

В общем-то, для этого я и просил разраба сделать «фильтр глубины», а не для того, о чем вы подумали. И вроде бы всё хорошо, вот оно, ТВ будущего, как у фантастов!

Но, конкретно со стримами и роликами есть проблема: если автор начнет активно двигаться, изменит положение камеры или вообще покажет кусок другого видео — вся магия рассыпается, так что, в данном виде, сейчас для стрииов и роликов это неработоспособно. Придется просто смотреть их в 3D, без AR (как жить вообще?)

Хотя, если автор сидит на одном расстоянии и отвечает весь стрим на вопросы, например, то, тема прокатит, только используйте Depth Anything V2, для видео!

Да и сам разраб писал, что у него есть идеи, как улучшить отделение фона в видосах, но — это не приоритетная и трудоёмкая задача, однако, надежда есть…

А вот для фоток из прошлого раздела эта тема вполне себе рабочая, была на экране — стала прямо перед тобой, еще и в 3D, а не просто «картонка»:

Про фильтр глубины я вам уже рассказал выше, осталось рассказать про AR и прозрачность.

И тут на сцену выходит Virtual Desktop, который вам нужен, купленный ИМЕННО НА ШЛЕМЕ!

Virtual Desktop это вообще мастхев, если вы юзаете беспроводное соединение, не только на Pico 4, но, и на Квестах, и где он там еще есть. У меня есть целый плейлист про его фишки, посмотрите, если не в курсе. Это больше, чем просто стример! Но, сегодня нас интересует конкретно его способность «вырезать» из любого VR-приложения, которые мы стрими с ПК заданный цвет (фон), опять же, см. подробнее ролик «AR для бедных«.

В настройках Virtual Desktop на вкладке «Streaming» есть в самом низу настройка «VR Passthrough», где мы можем выбрать тот цвет, который надо вырезать, например, ярко-зеленый цвет хромокея:

Теперь всё, что в приложении или игре имеет выбранный нами цвет — будет заменяться на вид из ваших нашлемных камер!

Кстати, вместо зеленого можно взять любой «редкий» цвет, которого обычно нет в фото и видео. Однако, я показываю на примере зеленого, т.к. хромакей имеет ярко зеленый цвет, так проще для понимания

После этого нам нужно установить такой же цвет фона в настройках Deep Desktop, там же, где и фильтр глубины активируется. Ставим «Use only one background color», чтобы удобнее было настраивать фон, отключаем эмбиент и наш бекграунд, если вы его загрузили, ну и выбираем нужный нам зеленый (для точного задания в цифрах нажмите на маленькую иконку RGB):

Вот и всё. Теперь при переходе в Deep Desktop (именно в режим экрана в VR) вы увидите, что остался только собственно экран и ваша комната видна через камеры шлема! Дальше вы можете запустить хоть фото, хоть видео и, активируя фильтр глубины, вырезать задний фон, делая его «прозрачным». Как я говорил выше, для удобства рекомендую установить изменение фильтра глубины прямо на контроллерах, чтоб можно было играться прямо в реалтайме, не прыгая в меню Deep Desktop. Там это всё есть.

Да, если фотки у вас не полноэкранные, то, вероятно, вам нужно будет задать этот же цвет в фоне вашего фото-вьювера (хотя, в теории, Deep Desktop должен так же вырезать его как задний план, но, случаи разные бывают):

Предвижу вопрос: а зачем надо Virtual Desktop? Почему разраб не добавит эту фишку просто в саму софтину?

А потому что разраб, вроде как, вообще сидит на WMR с проводом и без цветных камер и то, как это всё работает — узнает из моих ответов в теме в Steam. Такие дела) Т.е. саму эту тему придумал исключительно я, разрабу с его шлемом она в голову никогда бы не пришла, думаю, он даже не знал, что Virtual Desktop так умеет…

Благо, Deep Desktop работает через OpenXR и всё, что разработчик внедряет у себя — я могу использовать через Virtual Desktop на Pico 4, т.к. в нем есть библиотека VDXR, которая на сегодня является лучшей реализацией OpenXR. Но, это — уже другая история…

Недостатки программы

• Конечно, нагрузка. Даже просто при работе с фотками оно хавает 60% моей видюхи. В условный Киберпанк 2077 с этой штукой играть, конечно, можно, но, я предпочту Решейд. А вот для простых плоских игр — будет норм. Именно поэтому я не рассматриваю другие методы, или увеличение качества 3D, как и писал про это выше;
• 3D не везде хорошее. Тут надо понимать, что всё зависит от того, как нейросеть распознает то, что вы ей показываете. Если нормально распознает — то и эффект будет норм. А если нет — то 3D или не будет, или будет очень унылым…
• Задержка. Все эти преобразования имеют задержку, условные 40-50 мс, поэтому, в каких-то быстрых шутерах это будет заметно. Кстати, в теории, эта тема должна работать и с онлайн-играми, но, бойтесь античита;

Это то, что скорее всего, никак не исправить, т.к. такова технология на сегодня. По крайней мере, пока. Про технические проблемы — далее.

Технические проблемы и их решение

Прогу можно считать пока что «в раннем доступе», потому, ожидаемы разные глюки и баги. Что уже есть и как решать.

Проверка 3D

Иногда бывает так, что всё стартует, но 3D как-будто бы и нет. А как его проверить? А очень просто!

Есть ли 3D легко проверяется, если повесить на одну из кнопок на контроллерах выезд из экрана (это в программе называется «двигаться вперед» ). У меня оно на левый грип, когда сомневаюсь — жму, и оно вылазит из экрана. Там же, на левый триггер установлен сброс этой штуки («сбросить позицию»), чтоб быстро вернуть назад. Эти кнопки:

Ну, пример выезда вы уже много раз видели, вот вам еще, на реальном фильме:

Как правило, всё работает. Просто не у всего контента будет норм глубина.

Да, еще бывает, что оно думает несколько секунд после старта и не сразу выдает глубину. Так что, можете подождать 10-15 секунд и снова проверить кнопками, есть вылет или нет.

Другие проблемы

• Артефакты-ореолы на видео! Во-первых, увеличьте Capture Res до сотки, если еще не и Depth Res тоже поставьте побольше, если тянет железка. Для видео используйте Depth Anything V2 — она самая быстрая. И да, в очень динамичных сценах там могут быть проблемы. Но, в обычных фильмах или роликах с Ютюба как правило всё хорошо, конечно, если вы запускаете это всё не на калькуляторе. Снова же — всё перезапустите, ребутните комп, мало ли чего…
• Не качаются модели! Вырубайте антивирусы. Нет, в моделях нет вируса, просто разные хитровыделанные касперские любят блочить доступ туда, куда их не просят. Например, у меня вполне реально он блочил скачку Решейда и плагинов для Stable Diffusion. Последней каплей стало то, что он стал блочить обновления игр в Steam. по итогу, после нескольких лет использования я перестал продлевать подписку, т.к. он тупо создавал мне проблемы за мои же деньги. Виндовый дефендер отлично делает всё тоже самое, бесплатно;
• Не работает через Air Link или Link! Прога использует OpenXR для работы, поэтому, в настройках софта Oculus на ПК установите где-то там в системе «использовать Oculus как OpenXR». Скрин приложить не могу, у меня Квеста нету с июля 2023-го, но, подписчику с Ютюба мой совет помог;
• Не запускается модель Х! Да, у меня были проблемы с ZoeDepth. Вроде всё поставил, нажал старт — и тишина. Снёс модель. Через пару дней снова попробовал поставить — заработало. Почему так? Хз, потому что — ранний доступ…
• Вы пишите в статье про функцию, а у меня ее нет! Переключитесь на бета-версию программы, скрин есть в начале статьи. Но, помните, что с новыми версиями программы вам, возможно, придется и модели переставлять по новой…

Пока вроде всё.

А, был еще случай, когда софтину запустил чел с тремя QHD мониторами и у него там что-то лагало и вылетало… но, это отдельная история.

Заключение

Как видите, всё просто и тема действительно рабочая (надеюсь, у вас оно заработало). Когда-то несколько лет назад меня поразила возможность повышать кадровую частоту в любом видео, а я люблю видосы в 60 FPS, потому, сначала не поверил, что это реально, а потом я сам написал статью как это сделать и теперь использую это везде, даже при просмотре обычных сериалов на ПК, не говоря про виар, где эти рывки очень раздражают.

Думаю, с этой темой будет так же и я еще долго буду удивляться, как мог смотреть обычные «плоские» видосы) Слава нейросетям, слава 21-му веку!

А с вами был @Pavel419, до новых постов и видосов, всем — пока!