Cinque domande sul Progetto HoloLens di Microsoft

Mercoledì mattina, Microsoft ha mostrato un progetto su cui ha lavorato per sette anni, un headset della realtà aumentata chiamato Progetto HoloLens.

La visione è ambiziosa: vogliono cambiare radicalmente il modo in cui le persone interagiscono con i computer, costruendo un paio di occhiali in grado di mescolare fluidamente contenuti virtuali e reali nello spazio fisico dell'utente. Questa è come la tecnologia della realtà virtuale Perché la tecnologia della realtà virtuale ti farà esplodere la tua mente tra 5 anni Perché la tecnologia della realtà virtuale ti farà esplodere la tua mente tra 5 anni Il futuro della realtà virtuale include tracciamento di testa, occhi e espressioni, tocco simulato e molto altro. Queste fantastiche tecnologie saranno disponibili per te in 5 anni o meno. Per saperne di più, ma fondamentalmente più potente. Inoltre, vogliono fare tutto il processo localmente sugli occhiali - nessun computer, nessun telefono, nessun cavo. Stanno persino lanciando una versione speciale di Windows solo per il nuovo hardware. Questa è la prossima fase dell'evoluzione tecnologica per tutti questi giochi AR App di Realtà Aumentata: Utile o semplicemente Hype? MakeUseOf Test Applicazioni di realtà aumentata: utile o semplicemente da campagna pubblicitaria? Test MakeUseOf Nel 2011, gli analisti hanno predetto l'aumento delle app per dispositivi mobili Realtà Aumentata. La tecnologia nascente rivoluzionerà il modo in cui interagiamo con i nostri dispositivi mobili. Flash avanti di due anni e decine di app AR popolano tutti ... Leggi di più hai installato sul telefono che una volta e non hanno toccato dal.

Il loro lasso di tempo è ancora più ambizioso dei loro obiettivi: vogliono spedire i kit di sviluppo questa primavera e il prodotto di consumo “durante il periodo di tempo di Windows 10”. Ecco il passo.

Tutto ciò suona alla grande, ma ammetto un grado abbastanza alto di scetticismo.

Le tecnologie utilizzate da Microsoft hanno serie, sfide fondamentali, e finora Microsoft ha parlato a voce chiusa di come (o se) le ha risolte. Se non li hanno risolti, il loro obiettivo di spedizione entro un anno è molto preoccupante. L'ultima cosa di cui VR e AR hanno bisogno è una grande azienda che spedisce un altro prodotto mezzo cotto come il Kinect. Ricorda la demo del Project Natal del 2009?

Senza ulteriori indugi, ecco le cinque cose più importanti che vorrei sapere sugli HoloLens.

Si tratta di una visualizzazione di campo chiaro?

Per capire questo, dobbiamo guardare un po 'più in profondità nel 3D e come funziona. Per avere la sensazione di un mondo 3D reale e tangibile, i nostri cervelli integrano molti diversi tipi di informazioni. Otteniamo spunti profondi sul mondo in tre modi principali:

• Profondità stereo - la disparità tra ciò che vedono entrambi i nostri occhi. Fingere è così che funzionano i film in 3D
• Parallasse di movimento - movimenti sottili della nostra testa e del busto ci danno ulteriori spunti di profondità per gli oggetti che sono più lontani
• Messa a fuoco ottica - quando ci concentriamo su qualcosa, le lenti dei nostri occhi si deformano fisicamente finché non viene messa a fuoco; gli oggetti near-field richiedono una maggiore distorsione della lente, che fornisce informazioni approfondite su ciò che stiamo guardando

La messa a fuoco ottica è facile da controllare: chiudi un occhio e tieni il pollice davanti a una parete dall'altra parte della stanza. Quindi sposta la messa a fuoco dall'anteprima alla superficie dietro di essa. Guardando oltre il pollice, il pollice si sposta fuori fuoco perché la lente dell'occhio ora è meno deformata e non riesce a raccogliere correttamente la luce che proviene da esso.

Gli auricolari VR come Oculus Rift forniscono i primi due segnali in modo estremamente accurato, ma non l'ultimo, che funziona sorprendentemente bene: i nostri occhi si rilassano completamente, poiché l'ottica focalizza le immagini mentre la luce proveniva da infinitamente lontano. La mancanza dell'indicazione di messa a fuoco ottica non è realistica, ma di solito non distrae. Puoi comunque avere esperienze di gioco davvero interessanti 5 Esperienze di gioco di Oculus Rift che ti faranno divertire 5 esperienze di gioco di Oculus Rift che ti faranno saltare via Ora che la seconda generazione del kit di sviluppo di Oculus Rift è nelle mani degli sviluppatori di tutto il mondo, diamo un'occhiata ad alcune delle cose migliori che hanno colpito il Rift finora. Leggi di più senza di esso.

Nella realtà aumentata, il problema è diverso, perché devi mescolare la luce da oggetti reali e virtuali. La luce proveniente dal mondo reale sarà naturalmente focalizzata su una varietà di profondità. Il contenuto virtuale, tuttavia, sarà focalizzato su una distanza fissa e artificiale dettata dall'ottica, probabilmente all'infinito. Gli oggetti virtuali non sembreranno parte della scena. Saranno fuori fuoco quando guardate le cose reali alla stessa profondità e viceversa. Non sarà possibile muovere i tuoi occhi in modo fluido attraverso la scena mantenendola a fuoco, come fai normalmente. I segnali di profondità contrastanti saranno nel migliore dei casi confusionari e nel peggiore peggiori.

Per risolvere questo problema, è necessario qualcosa chiamato display di campo chiaro. I display con campo chiaro sono display che utilizzano una serie di piccoli obiettivi per visualizzare la luce focalizzata a molte profondità contemporaneamente. Ciò consente all'utente di concentrarsi in modo naturale sul display e (per la realtà aumentata) risolve il problema sopra descritto.

C'è, tuttavia, un problema: il campo chiaro visualizza essenzialmente un singolo schermo 2D su un campo di luce tridimensionale, il che significa che ognuno di essi “pixel di profondità” che l'utente percepisce (ed esiste in una particolare profondità focale nella scena) è in realtà costituito da luce proveniente da molti pixel sul display originale. Maggiore è la profondità che desideri ritrarre, maggiore è la risoluzione a cui devi rinunciare.

Generalmente, i campi luminosi hanno circa un otto volte diminuzione della risoluzione per fornire un'adeguata precisione di profondità. I migliori microdisplay disponibili hanno una risoluzione di circa 1080p. Supponendo che un microdisplay high-end guidi ogni occhio, ciò renderebbe la risoluzione effettiva dell'auricolare di Microsoft solo circa 500 x 500 pixel per occhio, meno persino rispetto all'Oculus Rift DK1. Se il display ha un campo visivo elevato, gli oggetti virtuali saranno blob di pixel incomprensibili. In caso contrario, l'immersione subirà proporzionalmente. Non siamo mai riusciti a vedere attraverso l'obiettivo (solo le ri-creazioni del computer di ciò che l'utente sta vedendo), quindi non abbiamo idea di come sia veramente l'esperienza dell'utente.

È possibile che Microsoft abbia escogitato qualche nuova soluzione a questo problema, per consentire l'uso di un display con campo chiaro senza il compromesso della risoluzione. Tuttavia, Microsoft è stata estremamente cauta riguardo alla loro tecnologia di visualizzazione, il che mi fa sospettare che non lo abbiano fatto. Ecco la migliore spiegazione che abbiamo ottenuto finora (dal CABLATA demo).

Per creare le immagini di Project HoloLens, le particelle di luce rimbalzano intorno a milioni di volte nel cosiddetto light engine del dispositivo. Quindi i fotoni entrano nei due obiettivi degli occhiali, dove rimbalzano tra strati di vetro blu, verde e rosso prima che raggiungano la parte posteriore dell'occhio.

Questo tipo di descrizione della tecnologia potrebbe significare praticamente qualsiasi cosa (anche se, in tutta onestà, l'hardware ha impressionato WIRED, sebbene l'articolo fosse chiaro sui dettagli).

Non ne sapremo di più fino a quando Microsoft non inizierà a rilasciare specifiche tecniche, probabilmente tra mesi. In un'ulteriore nota di nit picking, è davvero necessario affogare il progetto in questo molto parlare di marketing? Il processore dedicato che stanno utilizzando per il tracciamento della testa è chiamato a “processore olografico” e le immagini sono chiamate “ologrammi,” senza una ragione particolare Il prodotto è fondamentalmente abbastanza interessante che non è necessario dorarlo in questo modo.

Il monitoraggio è abbastanza buono?

L'auricolare Project HoloLens ha un'alta telecamera FOV montata su di esso (come il Kinect), che usa per capire dove si trova lo auricolare nello spazio (cercando di allineare l'immagine di profondità che vede con il suo modello del mondo, composta da immagini di profondità passate). Ecco la loro demo live dell'headset in azione.

Il tracciamento è impressionante considerando che non usa marker o altri trucchi, ma anche in quel video (in condizioni molto controllate), è possibile vedere una certa quantità di oscillazione: il tracciamento non è completamente stabile. Questo è normale: questo tipo di tracciamento interno è estremamente difficile.

Tuttavia, la grande lezione dei vari prototipi di Oculus Rift Watch Us Prova Oculus Rift Crescent Bay al CES 2015 Guarda noi Prova Oculus Rift Crescent Bay al CES 2015 Oculus Rift Crescent Bay è un nuovo prototipo che mostra alcuni interessanti miglioramenti in tecnologia della realtà virtuale. Lo proviamo al CES 2015. Leggi di più è che l'accuratezza del tracciamento conta molto. Il jittering tracking è semplicemente fastidioso quando si tratta di pochi oggetti in un mondo reale ampiamente stabile, ma in scene come la demo di Mars che hanno mostrato nel loro concept video, in cui quasi tutto ciò che vedi è virtuale, il monitoraggio impreciso potrebbe portare a una mancanza di “presenza” nella scena virtuale, o anche nella malattia del simulatore. Microsoft può ottenere il monitoraggio fino allo standard impostato da Oculus (precisione di tracciamento sub-millimetrica e latenza totale inferiore a 20 ms) entro la data di spedizione alla fine di quest'anno?

Ecco Michael Abrash, un ricercatore di realtà virtuale che ha lavorato sia per Valve che per Oculus, parlando del problema

[Poiché c'è sempre un ritardo nella generazione di immagini virtuali, [...] è molto difficile ottenere immagini virtuali e reali da registrare con sufficiente attenzione in modo che l'occhio non si accorga. Ad esempio, supponiamo di avere una vera lattina di Coca Cola che vuoi trasformare in una lattina di Pepsi AR disegnando un logo Pepsi sul logo della Coca Cola. Se occorrono decine di millisecondi per ridisegnare il logo Pepsi, ogni volta che ruoterai la testa l'effetto sarà che il logo Pepsi sembrerà spostarsi di alcuni gradi rispetto al barattolo e una parte del logo della Coca Cola diventerà visibile; quindi il logo Pepsi tornerà al punto giusto quando smetti di muoverti. Questo chiaramente non è abbastanza buono per AR difficile

Lo schermo può disegnare in nero?

Un altro problema, oltre alla profondità focale e al tracciamento, riguarda il disegno di colori scuri. Aggiungere più luce a una scena è relativamente semplice, utilizzando i separatori di raggi. Spegnere la luce è molto più difficile. Come oscuri selettivamente parti del mondo reale? Mettere uno schermo LCD selettivamente trasparente non lo taglierà, poiché non può essere sempre nella messa a fuoco corretta per bloccare quello che stai guardando. Gli strumenti ottici per risolvere questo problema, a meno che Microsoft non li abbia inventati in segreto, semplicemente non esistono.

Questo è importante, perché per molte delle applicazioni che Microsoft sta mettendo in mostra (come guardare Netflix sulla tua bacheca), l'auricolare ha davvero bisogno della capacità di rimuovere la luce proveniente dal muro, altrimenti il ​​tuo film avrà sempre uno schema a stucco visibile sovrapposto con esso: sarà impossibile per le immagini bloccare oggetti reali nella scena, rendendo l'uso dell'auricolare fortemente dipendente dalle condizioni di luce ambientale. Torna a Michael Abrash:

[S] o nulla del genere è emerso nell'industria o nella letteratura di AR e, a meno che e fino a quando non lo sia, AR difficile, nel senso di SF che tutti noi conosciamo e amiamo, non può accadere, se non nella quasi oscurità.

Ciò non significa che AR sia fuori dal tavolo, solo che per un po 'sarà ancora AR morbido, basato sulla miscelazione additiva [...] Ancora una volta, pensa come traslucido “acchiappa fantasmi.” Anche le immagini virtuali ad alta intensità senza aree scure funzioneranno, specialmente con l'aiuto dell'oscuramento regionale o globale - semplicemente non sembreranno parte del mondo reale.

Che dire di occlusione?

“Occlusione” è il termine per ciò che accade quando un oggetto passa davanti a un altro e ti impedisce di vedere cosa c'è dietro. Affinché lo scenario virtuale possa sembrare una parte tangibile del mondo, è importante che gli oggetti reali occludano oggetti virtuali: se tieni la mano davanti a un pezzo di immaginario virtuale, non dovresti riuscire a vederlo attraverso la tua mano. A causa dell'uso di una videocamera di profondità sull'auricolare, ciò è effettivamente possibile. Ma guarda di nuovo la demo dal vivo:

In generale, controllano attentamente gli angoli della telecamera per evitare che oggetti reali passino di fronte a quelli virtuali. Tuttavia, quando il dimostratore interagisce con il menu di Windows, puoi vedere che la sua mano non lo blocca affatto. Se questo è fuori dalla portata della loro tecnologia, questo è un pessimo segnale per la vitalità del loro prodotto di consumo.

E a proposito di quella interfaccia utente ...

È davvero l'interfaccia utente finale?

L'interfaccia utente mostrata da Microsoft nei loro video dimostrativi sembra funzionare utilizzando una combinazione di rilevamento dello sguardo e della mano per controllare un cursore nella scena virtuale, mentre si usano i controlli vocali per selezionare tra diverse opzioni. Questo ha due grossi inconvenienti: ti fa sembrare il ragazzino di Shining che parla al dito, ma soprattutto, rappresenta anche un paradigma di design fondamentalmente imperfetto.

Storicamente, le migliori interfacce utente sono state quelle che portano intuizioni fisiche sul mondo nel mondo virtuale. Il mouse ha fatto clic, trascinando e finestre. L'interfaccia touch ha portato il dito sullo schermo per scorrere e pizzicare per ingrandire. Entrambi erano fondamentali per rendere i computer più accessibili e utili per la popolazione generale - perché erano fondamentalmente più intuitivi di quanto accadeva prima.

VR e AR ti offrono molta più libertà come designer: puoi posizionare elementi dell'interfaccia utente ovunque su uno spazio 3D e far interagire gli utenti con essi in modo naturale, come se fossero oggetti fisici. Un enorme numero di ovvie metafore suggerisce se stessi. Tocca un elemento dell'interfaccia utente virtuale per selezionarlo. Pizzica per prenderlo e spostarlo. Sfilatelo per conservarlo temporaneamente. Schiacciare per eliminarlo. Puoi immaginare di costruire un'interfaccia utente così intuitiva da non richiedere spiegazioni. Qualcosa che tua nonna può immediatamente raccogliere, perché è costruito su una base di intuizioni fisiche di base che ognuno costruisce per un'intera vita di interazione con il mondo. Prenditi un minuto e ascolta questa persona intelligente che descrive quali interfacce coinvolgenti potrebbero essere.

In altre parole, sembra ovvio (per me) che debba essere un'interfaccia utente immersiva almeno intuitive come le interfacce touch introdotte dall'iPhone per gli schermi multitouch 2D. Costruire un'interfaccia attorno alla manipolazione di una VR “topo” è un passo indietro e presenta profonde carenze tecnologiche nella tecnologia di tracciamento manuale o un fraintendimento fondamentale di ciò che è interessante in questo nuovo mezzo. Ad ogni modo, è un brutto segno che questo prodotto sia più di un colossale flop di scala Kinect.

Spero che Microsoft abbia tempo per ricevere feedback e fare un lavoro migliore. Ad esempio, ecco un'interfaccia progettata da un hobbista per Oculus Rift DK2 e Leap Motion. Un'interfaccia utente immersiva progettata da una grande azienda dovrebbe essere almeno così buona.

Un segno di cose che verranno

Nel complesso, sono estremamente scettico sul progetto HoloLens nel suo complesso. Sono molto contento che un'azienda con le risorse di Microsoft stia indagando su questo problema, ma sono preoccupato che stiano tentando di far uscire un prodotto senza risolvere alcuni problemi tecnici di base critici, o di definire un buon paradigma dell'interfaccia utente. The HoloLens è un segno delle cose a venire, ma ciò non significa che il prodotto stesso fornirà una buona esperienza ai consumatori.

Credito immagine: per gentile concessione di Microsoft

Scopri di più su: Realtà Aumentata, Microsoft, Realtà Virtuale.