Può la realtà virtuale tagliare il cavo?

Non parliamo di parole: sono visibilmente eccitato dal nuovo auricolare Realtà Virtuale Valve e HTC annunciano la nuova cuffia VR per la spedizione entro Natale 2015 Valve e HTC annunciano la nuova cuffia VR in vendita entro Natale 2015 Il nuovo auricolare VR di Valve è il migliore al mondo visto. Oculus ha una possibilità? Leggi di più .

The Vive, creato in collaborazione con HTC, vanta un perfetto monitoraggio della testa e due controller, una comoda risoluzione 2160 x 1200 e un display OLED ultra nitido da 90 hz. Sta uscendo quest'anno e offre esperienze VR interattive che forniscono un senso sostenuto di presenza fisica nella scena virtuale.

Per avere un'idea di quanto sia buono il monitoraggio, guarda questo video di “La galleria,” un gioco di realtà virtuale in riproduzione su Vive.

La sfida della realtà virtuale in free-roaming

The Vive è fantastico. Tuttavia, se leggi le recensioni delle cuffie prototipo che stanno arrivando, inizi a notarlo una lamentela specifica continua a spuntare.

Venture Beat:

“Durante la mia prova con il prototipo, ho indossato una cintura per tenere un fascio di corde fuori dalla mia strada - e ora che ci penso, Valve deve aver avuto qualcuno che camminava con me per essere sicuro di non inciampare su nessuno lasco che ho creato mentre mi muovevo per la stanza.”

PC MAG:

“Poiché è un'esperienza interattiva completamente interattiva, è necessario rimuovere i mobili dal centro di una stanza e cercare di non inciampare nel cavo che riconduce al PC.”

Gizmodo:

“E questo è probabilmente il principale punto debole di HTC Vive. È come La matrice in questo sembra reale, ma anche nel fatto che sei collegato a un PC con un cavo che viene fuori dalla tua nuca. Questo a volte limita la tua libertà di movimento e talvolta (ma non spesso, secondo la mia esperienza) un pericolo di inciampare. Non è un molto grosso problema ma evidente comunque.”

Alcuni di questi sono perché l'auricolare è un prototipo con cinque cavi (la versione consumer dovrebbe avere solo uno, un cavo USB e HDMI combinato che collega l'auricolare al PC). Tuttavia, il problema sembra essere fondamentale per auricolari cablati che ti permettono di camminare liberamente. Guardaci Prova Oculus Rift Crescent Bay al CES 2015 Guarda noi Prova Oculus Rift Crescent Bay al CES 2015 Oculus Rift Crescent Bay è un nuovo prototipo questo mostra alcuni interessanti miglioramenti nella tecnologia della realtà virtuale. Lo proviamo al CES 2015. Per saperne di più. Le corde sono un rischio di inciampare, e anche solo una specie di fiasco. Ti impediscono di portare il tuo dispositivo VR fuori dalla stanza, tanto meno la casa.

Questo diventerà più un problema quando inizieremo a utilizzare la VR come interfaccia di base per i nostri sistemi operativi.

Non avevamo PC da molto tempo prima che volessimo una versione mobile dell'esperienza (laptop, smartphone e tablet). La VR sarà la stessa cosa, in particolare quando iniziamo ad integrare le funzionalità di realtà aumentata sulla falsariga di Microsoft HoloLens 8 Real-World Uses per Microsoft HoloLens 8 Real-World Uses per Microsoft HoloLens Microsoft HoloLens è cool, ma cosa utilizzerai effettivamente per? Corriamo le possibilità più eccitanti. Leggi di più .

Sfortunatamente, si scopre che scollegare gli auricolari VR dai PC è una grande sfida tecnologica e che ancora non sappiamo come risolvere. Tuttavia, all'orizzonte vi sono due tecnologie promettenti che possono aiutare a risolvere il problema.

Soluzione n. 1: PC Streaming

Un approccio ovvio al programma è quello di utilizzare il PC per rendere il mondo virtuale e quindi trasmettere le immagini renderizzate all'auricolare tramite WiFi (come Steamlink, che trasmette i giochi dal PC alla TV). Il problema con questo approccio è la latenza. Nella realtà virtuale, si desidera ridurre al minimo il ritardo tra lo spostamento e la visione del movimento riflesso sullo schermo. Il punto debole è generalmente accettato di essere inferiore a 20 millisecondi.

Il moderno streaming video può arrivare a meno di un millisecondo di latenza, il che è un ottimo inizio. Sfortunatamente, un flusso video 1440p 90hz non compresso è di circa 8 gigabit al secondo di dati. I router WiFi consumer sono in grado di gestire circa 100 megabit. Anche i router industriali di fascia più alta raggiungono il limite di circa 800 megabit, otto volte meno del necessario. Per risolvere questo problema, è necessario comprimere le immagini prima di inviarle. Il processo di compressione e decompressione aggiunge circa 80 ms di latenza, che volontà ti fanno star male.

Ci sono alcune possibili soluzioni a questo problema:

Miglioramenti della larghezza di banda

Un approccio è cercare di aumentare la larghezza di banda disponibile. Le reti 5G, che saranno disponibili tra cinque anni, potrebbero consentire velocità di circa un terabit al secondo, che potrebbero gestire futuristiche 8M HMD senza compressione. A breve termine, la tecnologia Li-Fi (una tecnologia Internet basata su LED a impulsi rapidi) potrebbe consentire velocità di trasferimento di 10 GB / s a ​​latenze molto basse, il che consentirebbe versioni wireless delle cuffie VR di generazione corrente nei prossimi anni, sebbene la tecnologia non sia ancora disponibile per i consumatori.

Questa è probabilmente la migliore soluzione al problema, ma non sarà disponibile per i consumatori per almeno un anno o due, potrebbe essere costosa e la risoluzione probabilmente rimarrà indietro rispetto agli auricolari cablati di fascia più alta fino all'arrivo delle reti 5G appropriate.

Orditura locale

Un'opzione più complessa sarebbe accettare gli 80 ms di latenza e provare a correggerli dopo il fatto, deformando la vecchia immagine nella nuova posizione della testa. Ciò produce ancora un certo ritardo di input, ma non il nauseante tipo di movimento della testa.

L'approccio standard a questo tipo di problema è l'asincrono time-warp, che raccoglie i dati dal PC e lo deforma utilizzando una piccola GPU sull'auricolare per visualizzare l'immagine precedente da una nuova prospettiva, consentendo all'auricolare di aggiornarsi fluidamente nonostante l'elevata latenza.

A prima vista, questo suona come un proiettile magico. Sfortunatamente, ci sono alcune grandi prese. Per citare Michael Antonov, un ricercatore di Oculus,

“Il judder posizionale è uno degli artefatti più evidenti con timewarp solo per l'orientamento. Quando si sposta la testa, solo il componente rotazionale aggiuntivo viene riflesso nelle immagini generate da ATW, mentre qualsiasi movimento di testa traslazionale dal momento in cui il frame è stato renderizzato viene ignorato. Ciò significa che quando muovi la testa da un lato all'altro, o anche solo ruoti la testa che traduce i tuoi occhi, vedrai più scatti di immagini su oggetti vicini a te.

[...]

Un modo possibile per affrontare l'oscillatore posizionale consiste nell'implementare una deformazione posizionale completa, che applica sia le correzioni di traduzione che di orientamento al fotogramma di rendering originale. La deformazione posizionale deve considerare la profondità della cornice renderizzata originale, spostando parti dell'immagine di quantità diverse. Tuttavia, tale spostamento genera artefatti di dis-occlusione ai bordi degli oggetti, dove sono scoperte aree dello spazio che non hanno dati nel frame originale.”

Ci sono diverse tecniche per creare dati per riempire i buchi creati dal timewarp posizionale, ma tutti loro lasciano degli artefatti, e quelli che lasciano il minor numero di artefatti sono i più computazionalmente costosi. Il problema è simile a quello affrontato da coloro che tentano di visualizzare video VR di profondità VR Is About to Change Filmmaking Forever: Ecco come la VR sta per cambiare Regia cinematografica per sempre: Ecco come la realtà virtuale è un nuovo modo di comunicare con il tuo spettatore e molte persone con un background nel cinema tradizionale trova le possibilità eccitanti. Leggi di più .

Per risolvere perfettamente questo problema, gli sviluppatori devono trovare un modo per trasmettere dati extra per riempire i buchi. Alcuni approcci possibili:

• Renderizza separatamente oggetti di campo lontano e campo vicino e trasmetti in streaming entrambe le immagini
• Renderizza un campo chiaro, che può essere riproiettato da ampi offset della testa senza disocclusione
• Sviluppa modelli di movimento della testa estremamente sofisticati e utilizza la previsione per ridurre al minimo gli errori di disocclusione

Non è chiaro quale sia la soluzione migliore qui. Nessuno degli approcci che conosciamo è perfetto e alcuni richiedono una ricerca più approfondita. Capire se la ri-proiezione è una buona idea si riduce a quanto possiamo minimizzare gli artefatti. È una possibilità promettente, ma ci sono molte domande senza risposta.

Soluzione n. 2: rendering locale

Una strategia completamente diversa è quella di dimenticare il PC e eseguire il rendering localmente sull'auricolare. Ecco come funzionano gli HoloLens di Microsoft e gli Gear VR di Samsung. Non si sa molto sugli HoloLens Cinque domande sul "Progetto HoloLens" di Microsoft Cinque domande sul "Progetto HoloLens" di Microsoft Le nuove cuffie auricolari in Realtà Aumentata di Microsoft sono molto eccitanti - ma possono risolvere i problemi fondamentali dell'AR? Per saperne di più, ma Gear VR ha un numero di limitazioni gravi. La sua GPU mobile può gestire alcune esperienze VR modeste (con ottimizzazione intensiva), ma a malapena. La gestione del calore è un problema, la risoluzione e la frequenza di aggiornamento non salgono al livello necessario per la presenza nella scena e l'auricolare non ha traccia di posizionamento. Alcuni di questi sono dovuti ai limiti della tecnologia mobile, e presto miglioreranno, sostenuti dalla corrente della Legge di Moore.

Tuttavia, alcuni di questi problemi sono il risultato di dover progettare uno smartphone che non è stato progettato per la realtà virtuale. Se stavi creando un headset VR mobile da zero, potresti fare molte cose in modo diverso. I progettisti possono disporre di due GPU mobili di fascia alta, uno schermo di aggiornamento molto elevato e una batteria grande. Potrebbero anche distribuire i componenti per una migliore distribuzione del peso e gestione del calore. Il fattore di forma risultante potrebbe somigliare molto al Sony Morpheus.

Oppure, se gli ingegneri volevano diventare ambiziosi, potevano costruire qualcosa di più simile al mini-PC: un piccolo blocco indossabile di computronio contenente una o più GPU per laptop, un ventilatore e una grande batteria. Questo dispositivo avrebbe un fattore di forma simile a un Walkman e guiderebbe un HMD tramite un singolo cavo.

L'attuale GPU di punta di NVIDIA, la GTX 980, che è quella che Oculus usa internamente, è solo circa il 40% più veloce della sua controparte mobile, la 980M, ed è minuscolo. Probabilmente è possibile inserire due di loro in un marsupio, con spazio sufficiente per il resto del budello di un piccolo PC portatile.

Nota per gli sviluppatori di hardware: in nessuna circostanza consentire alla stampa di descrivere il tuo prodotto come un "marsupio".

Questo fattore di forma sarebbe più chunkier di un auricolare autonomo, per non dire costoso - il retro della busta matematica suggerisce un prezzo di circa $ 2500. È possibile che i consumatori moderni non siano interessati a prodotti ingombranti. Tuttavia, è l'unico modo per un auricolare VR mobile di offrire prestazioni competitive con PC VR, e sospetto che i giocatori hardcore e gli altri irriducibili lo faranno. C'è una lunga storia di nerd che guidano l'avanguardia della tecnologia essendo disposti a indossare prodotti che li rendono ridicoli.

Al momento, le cuffie mobili soffrono di un'incapacità di fornire tracciamento posizionale, causando un senso nauseante che il mondo è attaccato al busto quando si tenta di spostarsi. Tuttavia, questo problema potrebbe presto essere risolto. A breve termine, Valve's “faro” la tecnologia di tracciamento posizionale è un'ottima soluzione: i proiettori laser sono stupidi, il che significa che possono essere piastrellati per coprire spazi ampi e possono servire molti dispositivi contemporaneamente. Di conseguenza, nel corso dei prossimi anni, il tracciamento del faro potrebbe diventare un servizio poco costoso che le case e le aziende offrono, proprio come il WiFi oggi, consentendo di utilizzare l'hardware VR mobile nella maggior parte degli spazi interni.

A più lungo termine, poiché le telecamere di profondità migliorano in risoluzione e livello di rumore, dovrebbe essere possibile utilizzarle per il tracciamento posizionale, con una precisione sufficiente a fornire un senso di presenza VR. Ciò consentirà prodotti VR autonomi adatti per l'uso in realtà esterna e aumentata.

Il futuro del mobile VR

Nel lungo periodo, le cuffie mobili sono dove la tecnologia VR sta andando.

Possiamo fare il calcolo della legge di Moore calcolando quanti raddoppiamenti siamo lontani dall'essere in grado di rendere mondi virtuali fotorealistici su dispositivi mobili. I PC di fascia alta sono forse cinque raddoppiati (un'altra generazione di console) lontano dalla possibilità di offrire esperienze di gioco fotorealistiche a 1080p. Per la realtà virtuale, abbiamo bisogno di un raddoppio per il 3D e di altri tre per il rendering all'8K-per-eye necessario per eliminare la sfocatura e l'effetto dello schermo. Per tenere conto della piattaforma mobile, abbiamo bisogno di altri quattro raddoppiamenti per raggiungere i PC di fascia alta.

Se si sommano tutti i raddoppiamenti e si moltiplica per i diciotto mesi dettati dalla legge di Moore, si ottengono circa venti anni (2035), che è il punto in cui nessuno sarà in grado di distinguere tra una scena VR resa su uno smartphone e uno reso su un PC di gioco di fascia alta. A quel punto, non ci sarà alcun motivo per usare di nuovo un auricolare per PC.

Fino a quel giorno, sospetto che vedremo per un po 'sia gli headset VR sia quelli basati su PC VR cablati e wireless. Le cuffie wireless saranno più convenienti, ma le cuffie cablate offriranno una risoluzione migliore, almeno fino a quando le reti 5G non saranno completamente mature.

Dall'altra parte della divisione, le cuffie mobili continueranno a migliorare e porteranno via la quota di mercato dal PC mentre scivoliamo abbastanza lontano sulla curva dei rendimenti decrescenti, con sempre più persone disposte a sacrificare una modesta quantità di fedeltà per la flessibilità . La competizione sarà feroce e, si spera, buona per il consumatore. Personalmente, non posso aspettare.

Eccitato per cuffie wireless? Conosci una tecnologia che abbiamo perso? Fateci sapere nei commenti!

Crediti immagine: Barone Firenze Via Shutterstock, “Registrazione di Isan ... ”, di Edvvc, “Phubby,” di Kevin Lin, “HTC VR,” da HTC, “Link al vapore,” di Valve, “la legge di Moore,” da Wikimedia

Scopri di più su: Realtà virtuale.