La realtà virtuale sta per cambiare il cinema per sempre Ecco come

Hollywood sta parlando della realtà virtuale. Alla conferenza Oculus Connect del mese scorso, un intero gruppo di studenti di Hollywood ha parlato della tecnologia e delle sue applicazioni nel cinema.

Nel frattempo, i pesanti battitori del settore stanno iniziando a pesare. James Cameron lo odia. David Attenborough sta facendo un documentario su di esso. Il recente (eccellente) film Interstellar ha avuto un'esperienza VR che lo promuoveva.

La realtà virtuale è un nuovo modo di comunicare con il tuo spettatore e molte persone con un background nel cinema tradizionale trovano le possibilità eccitanti. La realtà virtuale, anziché limitarsi a fornire una finestra per un nuovo mondo, consente ai registi di prendere il controllo del mondo intero attorno allo spettatore.

Cosa puoi fare con una videocamera VR?

Non ci vuole molta immaginazione per essere entusiasti dell'idea delle telecamere VR. I cineasti potrebbero letteralmente portare il pubblico faccia a faccia con i loro personaggi e immergerli in mondi spettacolari e bizzarri. I fotografi potevano catturare intere scene, congelate nel tempo, per essere esaminate da chiunque, in qualsiasi parte del mondo.

I documentaristi potrebbero portare il pubblico in posti che altrimenti non sarebbero mai in grado di visitare. Potrebbero inviare una telecamera VR sul fondo dell'oceano e lasciare che gli spettatori si trovino nel mezzo della sala da ballo affondata del Titanic. I documentari sulla natura potrebbero manipolare il tempo e lo spazio, mettere gli utenti tra le formiche delle dimensioni dei cani o costruire sequenze di sequenze di tempo immersive. La NASA potrebbe montare una telecamera VR su un rover Mars e consentire a milioni di persone di stare sul pianeta rosso.

Ci sono anche, naturalmente, applicazioni più banali:

Una delle chiavi per il successo della VR dei consumatori sarà rappresentata dai video stereoscopici sui gatti panoramici.

- John Carmack (@ID_AA_Carmack) 6 novembre 2014

Anche il video VR in diretta potrebbe essere molto avvincente. I videogiochi sportivi potevano essere lontanamente frequentati, le telecamere VR davano a tutti i posti in tribunale. Anche il turismo potrebbe essere virtuale.

Gli utenti possono noleggiare un semplice robot di telepresenza (forse un Segway con una videocamera VR seduto sul manubrio) e pilotarlo in giro, in qualsiasi parte del mondo. Il Segway riprodurrebbe in streaming i suoi video live, permettendo ai turisti di virtualmente “teletrasporto” loro stessi attraverso il pianeta per esplorare ovunque. Sembra sicuro dire che la realtà virtuale cambierà il mondo Perché la tecnologia della realtà virtuale ti farà esplodere la tua mente tra 5 anni Perché la tecnologia della realtà virtuale ti farà esplodere la tua mente tra 5 anni Il futuro della realtà virtuale include tracciamento di testa, occhi e espressione, tocco simulato , e altro ancora. Queste fantastiche tecnologie saranno disponibili per te in 5 anni o meno. Leggi di più .

Il cinema VR ha però molte sfide. In che modo i registi possono spostare la fotocamera mantenendo a proprio agio lo spettatore? In che modo i registi tagliano la pellicola senza disorientare lo spettatore? In che modo si assicurano che lo spettatore stia cercando la direzione giusta per catturare eventi di trama importanti? Anche i primi piani hanno senso?

Forse i maggiori problemi, però, sono quelli pratici: come registrare contenuti per la realtà virtuale? Il rendering di contenuti VR live per i giochi è intensivo dal punto di vista computazionale, ma concettualmente semplice. Registrare la vita reale, al contrario, pone alcune sfide serie.

Macchina fotografica panoramica

La soluzione più semplice (e l'unica ampiamente utilizzata al momento) è la semplice acquisizione video panoramica. In questo schema, una palla di telecamere convenzionali viene utilizzata per registrare video in ogni direzione, ei risultati vengono uniti insieme al software per creare una sfera di video senza interruzioni. 5 Suggerimenti per scattare foto panoramiche con lo smartphone 5 Suggerimenti per scattare foto panoramiche con lo smartphone Le immagini panoramiche di paesaggi mozzafiato sono quasi sempre meravigliose, ma possono essere estremamente difficili da creare. Utilizzando uno smartphone, ci sono varie tecniche e trucchi che è possibile utilizzare per ottenere i migliori risultati. Ulteriori informazioni e con il telefono, ma registrati contemporaneamente in formato video. L'output del processo è simile a questo:

Questo è semplice ed economico. Puoi pre-ordinare una telecamera panoramica per circa $ 700, ma ha delle limitazioni. Il più importante è la mancanza di profondità: i panorami sono resi su una sfera infinitamente grande, quindi la parallasse tra i tuoi occhi è zero, anche per parti dell'immagine che dovrebbero davvero avere profondità, come una persona in piedi accanto a te.

Nonostante questa lacuna, l'esperienza offerta dai video panoramici è ancora sorprendentemente interessante, soprattutto per i contenuti che si svolgono a distanza (la fotografia aerea ne è un buon esempio). Circa una settimana fa, ho creato un'app di Oculus Rift che rende una cabina di pilotaggio virtuale all'interno del video in alto, e i risultati sono convincenti: sembra di essere in un sottomarino circondato da tartarughe marine delle dimensioni di piccoli edifici.

Pensa a questo tipo di contenuti VR come ad un teatro super IMAX personale in cui ti trovi sospeso nel mezzo di un vasto display sferico. Il senso del luogo offerto dai video sferici è già qualcosa che è impossibile con gli strumenti di regia tradizionale. Anche con i suoi limiti, questo è probabilmente ciò che la maggior parte dei video VR avrà nell'immediato futuro. Il documentario di Richard Attenborough (“La conquista dei cieli“) viene girato in questo formato.

Macchina fotografica panoramica stereo

Diciamo che un regista non è contento della limitazione dei panorami monoscopici. Una ovvia estensione della tecnologia è quella di introdurre la tecnologia 3D side-by-side Fun-old-time: come creare immagini 3D per la visione senza occhiali Divertimento old-time: come creare immagini 3D per la visualizzazione senza occhiali Credici o no, non hai realmente bisogno di occhiali 3D per sperimentare immagini 3D (o film) convincenti. Hai solo bisogno di farti andare “strabico”. In sostanza, guardi due immagini e intenzionalmente ... Leggi altro. Per fare ciò, l'hardware necessita di due fotocamere parallele rivolte verso ciascuna direzione, sfalsate di circa 6,3 cm. Quindi, la fotocamera utilizza il software per unire insieme due immagini panoramiche: una per l'occhio sinistro e una per quella destra. La differenza tra loro crea l'illusione della profondità. Sono disponibili prodotti che supportano questa esperienza, anche se costosi ($ 995, più il costo di dieci videocamere GoPro).

Nel tentativo di rendere questo tipo di contenuto più mainstream, Samsung ha recentemente annunciato “Progetto oltre”, una videocamera panoramica stereo VR per l'auricolare mobile Oculus-Samsung Gear VR. L'attuale prototipo ha il fattore di forma di un piccolo disco e utilizza 17 telecamere HD e restituisce un gigapixel al secondo di dati.

A 30 fps, questo funziona con cornici panoramiche che misurano circa 15 megapixel per occhio o circa 50.000 pixel per occhio per grado visivo. Le informazioni sui prezzi sono ancora un mistero e Samsung sottolinea che questo non è un progetto finito. Puoi vedere il loro video di anteprima qui sotto.

I panorami stereo sono chiaramente un'esperienza migliore dei loro fratelli monoscopici: le cose grandi sembrano grandi, le cose piccole sembrano piccole, gli oggetti hanno profondità e posizione, e sembra molto più l'essere lì. Detto questo, l'esperienza è ancora lontana dall'essere perfetta. Come descrive John Carmack nel suo keynote di Oculus Connect, i panorami stereo hanno molti problemi.

“... i panorami stereoscopici, sia fissi che video, sono assolutamente un trucco. C'è - sappiamo cos'è giusto e questo non è giusto. Quello che finiscono per fare è che hai preso fette da più telecamere, così dritto è il giusto stereo per un para-saggio e poi qui è corretto per questo. Ma questo significa che se stai guardando ciò che è giusto per gli occhi qui ma stai guardando con la coda dell'occhio qui, non è assolutamente giusto. Non è la giusta disparità per gli occhi.

E poi, peggio ancora, se giri la testa in questo modo [tira la testa], diventa tutto più cattivo, perché è impostato solo per gli occhi dritti. Quindi questa è stata una cosa interessante. Abbiamo le cose in cui fondamentalmente sappiamo che in qualche modo questo può essere avvelenato, questa può essere una brutta esperienza se le persone che trascorrono molto tempo sono trascurate. [...]

Questi sono problemi tecnici che potrebbero, forse, essere risolti da un hardware migliore. Tuttavia, c'è un problema più profondo: cosa succede quando muovi la testa? I panorami per entrambi gli occhi sono ancora resi all'infinito: muovendo fisicamente la testa si avrà la sensazione nauseabonda che il mondo si muova con te, soprattutto se ci sono oggetti vicino a te. Non esiste un modo semplice per capire come apparirebbe un'immagine stereoscopica da un nuovo punto di vista.

Nonostante queste limitazioni, le esperienze panoramiche stereo sono ancora avvincenti. La piattaforma Gear VR si concentrerà su questo tipo di esperienze, poiché possono essere create con hardware moderno e visualizzate senza tassare le capacità di rendering dell'hardware. I panorami stereo saranno probabilmente lo standard d'oro per la produzione di contenuti VR, almeno per i prossimi anni.

Telecamere di profondità

Un'alternativa alla cattura di due immagini affiancate (come nei film 3D tradizionali) è quella di acquisire quelle che sono note come immagini di profondità: una singola immagine catturata da una singola prospettiva, che contiene un canale di colore aggiuntivo che memorizza la distanza dall'obiettivo del pixel in questione.

In tal caso, il software può simulare le videocamere virtuali visualizzando l'immagine da nuove prospettive, assicurandosi di avere sempre un'immagine nuova e corretta da ciascun occhio. È possibile generare immagini di profondità panoramiche che consentono il movimento naturale della testa e la rotazione in un modo che non è possibile con panorami stereo. Ci sono alcune tecnologie che puoi usare per catturare queste immagini di profondità.

Tempo di volo

La versione di questa tecnologia che probabilmente ti è più familiare è quella usata nel Kinect. Kinect V2 (la versione in bundle con Xbox One) si basa su quella che viene definita una fotocamera del tempo di volo.

La teoria qui è semplice: le telecamere a tempo di volo sono telecamere a infrarossi che sono in grado di registrare non solo dove la luce colpisce il sensore, ma quando la luce colpisce il sensore, con una precisione di pochi microsecondi. Questo è accoppiato con una videocamera a colori e una luce stroboscopica a infrarossi. All'inizio di ogni fotogramma, lo strobe IR lampeggia, illuminando la scena molto brevemente. Calcolando quanto tempo impiega ciascun pixel per osservare il flash, la fotocamera può dedurre dalla velocità della luce quanto lontano ogni pixel provenga dalla fotocamera.

Questa tecnologia è enormemente potente. Gli hacker hanno fatto cose incredibili 5 Microsoft Xbox Hack Kinect che ti faranno saltare in aria 5 Microsoft Xbox Hack Kinect che ti farà venire la voglia di leggere di più con esso. Utilizzando diversi Kinect in una configurazione sovrapposta, potrebbe essere possibile creare un panorama di una scena, con un valore di profondità preciso per ciascun pixel, che potrebbe essere visualizzato nella realtà virtuale per creare un'esperienza immersiva con profondità corretta.

Per avere un'idea del tipo di risultati che questo approccio produce, dai un'occhiata a questo video che mostra l'output della videocamera di profondità di Kinect V2.

Questa è un'immagine di profondità di alta qualità: molti dettagli, bordi puliti e non troppo rumore. Ci sono, tuttavia, alcune limitazioni: il più grande avvertimento è che il Kinect in questo esempio sta registrando una scena al chiuso con condizioni di illuminazione attentamente controllate.

In scenari del mondo reale (e soprattutto all'aperto), l'interferenza IR ambientale proveniente dalla luce solare diretta e indiretta e dalle sorgenti di luce incandescente può degradare la precisione. C'è anche un problema più fondamentale, ovvero che le telecamere del tempo di volo dipendono dall'illuminazione attiva. Ciò pone alcuni limiti difficili su quanto lontano possono vedere. Inoltre, non affrontano bene le superfici trasparenti e riflettenti. E, poiché la risoluzione della profondità è limitata dalla precisione dei tempi, le telecamere del tempo di volo non sono molto utili per la registrazione di piccoli oggetti, rendendo impossibile giocare con una scala.

Campo chiaro

Una tecnologia diversa per catturare le immagini di profondità è conosciuta come la fotografia del campo chiaro Lytro Light Field Camera: Snap Happy o Photo Gimmick? Lytro Light Field Camera: Snap Happy o Photo Gimmick? Descritto da un impiegato come "il primo grande cambiamento nella fotografia da quando la fotografia è stata inventata", la fotocamera da campo leggero Lytro è sicuramente un dispositivo rivoluzionario. La fotocamera scuote le cose sostituendo gran parte del pesante ... Per saperne di più .

Ecco come funziona: nella fotografia convenzionale, l'obiettivo della fotocamera focalizza la luce in ingresso su un sensore. Ogni elemento del sensore registra la quantità di luce che lo colpisce. Le telecamere per campo chiaro utilizzano un sensore speciale, in cui ciascuna “pixel” è in realtà una piccola lente con molti sensori al di sotto di essa. Ciò consente alla fotocamera di misurare non solo la quantità di luce che colpisce ogni pixel, ma anche l'angolo in cui la luce entra.

Questo è utile per alcuni motivi. L'applicazione più semplice è che, cambiando il modo in cui viene campionato questo grande campo di luce, gli utenti finali possono rifocalizzare una fotografia dopo che è stata scattata. L'applicazione che è interessante per la realtà virtuale, è che anche le telecamere del campo chiaro sono, per inciso, le telecamere di profondità! L'angolo della luce in arrivo da un oggetto è una funzione di quanto l'oggetto è distante dall'obiettivo, in relazione alla dimensione dell'apertura. Gli oggetti lontani producono una luce quasi perpendicolare all'obiettivo. Gli oggetti molto vicini producono una luce quasi parallela. Da questo, è possibile (molto accuratamente) determinare la mappa di profondità di un'immagine.

Puoi vedere alcuni risultati di una precedente videocamera con campo chiaro qui sotto, e di come l'immagine sembra riproiettata da una diversa angolazione.

Poiché si tratta di un processo passivo, il limite di intervallo e la precisione spaziale sono definiti dalla risoluzione e dalla dimensione dell'apertura e nient'altro. Ciò significa che utilizzando gli obiettivi di ingrandimento, è possibile scattare immagini di profondità di campo chiaro di praticamente qualsiasi oggetto in qualsiasi scala in qualsiasi condizione. Per ottenere un esempio di ciò che è possibile con campi luminosi più grandi e più precisi, guarda questo video, che usa diversi fotogrammi da una videocamera portatile a campo chiaro per simulare un campo di luce molto più ampio. Ne deriva una geometria 3D abbastanza convincente.

Le telecamere per campo chiaro sono una tecnologia molto meno matura rispetto al tempo delle telecamere di volo (c'è solo una telecamera per campo chiaro nel mercato consumer in questo momento, e non supporta l'acquisizione video). Detto questo, con più tempo di sviluppo, le telecamere per campo chiaro dovrebbero offrire un'esperienza video di profondità molto più robusta a lungo termine.

Trattare con Disocclusione

C'è un grosso problema con i video di profondità che vale la pena menzionare: head motion. Sì, è possibile riproiettare i video di profondità a nuove prospettive e tutti i pixel finiscono dove dovrebbero essere. Il video di approfondimento non ti farà star male. Sfortunatamente, introducono un nuovo problema: disocclusione.

Quando muovi la testa in modo tale da guardare una parte del mondo non visibile nell'immagine originale o nel panorama, ottieni un brutto artefatto visivo: un'ombra. Per avere un'idea di cosa sto parlando, guarda questo video:

In quel video, un programmatore ha hackerato il Kinect per rendere un video di profondità di ciò che vede nello spazio. Spostando la telecamera virtuale, ripropone la scena da un numero di punti di vista.

È un Kinect di prima generazione, quindi il feed video è un po 'problematico, ma i risultati sono piuttosto impressionanti. Il più grande svantaggio, che diventa evidente mentre inizia a girare la telecamera, sono le ombre nella scena. La parte del muro dietro il suo corpo ha un enorme buco a forma di persona tagliato fuori: la parte che la telecamera non può vedere e non ha dati per. Queste ombre nere stanno per apparire in panorami di profondità non appena la testa inizia a muoversi. Quindi, come fanno le videocamere VR a gestire questi buchi? Bene, ci sono alcuni approcci a questo problema:

Altre fotocamere

La soluzione più semplice è in realtà solo registrare la roba attorno agli angoli e dietro le superfici di occlusione. Per fare questo, aggiungi più telecamere - molto di più. Per consentire alle persone di alzare la testa fino a un metro di distanza in qualsiasi direzione, la telecamera deve essere espansa per creare una sfera di 2 metri di profondità con telecamere ad alta profondità FOV, in modo che il software possa sintetizzare qualsiasi punto di vista all'interno la sfera.

Questo è l'approccio più robusto, ma anche il meno pratico. Una sfera di due metri di telecamere non è una steadicam portatile, è un'installazione e una costosa. Questo potrebbe essere pratico per alcune produzioni hollywoodiane di alto livello, ma certamente non per la maggior parte delle applicazioni del mondo reale. Di seguito è possibile vedere un prototipo di questa idea, implementata sotto forma di un'applicazione di teleconferenza in diretta 3D:

Ricostruzione della scena

Un altro approccio, se il creatore del video sta principalmente registrando alcuni oggetti dinamici su uno sfondo statico, consiste nell'utilizzare una telecamera di profondità per mappare l'ambiente prima di iniziare le riprese e utilizzare questi dati per riempire i fori nelle immagini registrate. Questo può essere fatto automaticamente utilizzando una tecnica chiamata SLAM (Posizione e mappatura simultanee), che unisce automaticamente molte immagini di profondità per creare una mappa 3D completa di una scena. I risultati assomigliano a questo:

Funziona abbastanza bene, ma non è appropriato per tutte le situazioni. Non è difficile immaginare di provare a filmare una scena in un luogo pubblico occupato, dove gran parte dello sfondo è costituito da persone che si spostano e si occludono a vicenda. Non è possibile catturare una singola versione statica di quella scena per riempire i buchi. Inoltre, per scopi documentari, di video dal vivo o di notizie, non sarà pratico mappare in modo esaustivo l'ambiente in anticipo.

Sto solo facendo le cose

L'ultimo approccio al problema è quello di ricorrere alla solita risposta nei casi in cui non si dispone di dati sufficienti: menzogne ​​definitive.

L'intuizione qui è che, nella vita reale, lo spettatore non si alzerà e cercherà di fare il giro della scena. Saranno seduti e ciò di cui il software ha realmente bisogno di correggere sono piccole variazioni di posa, causate dallo spettatore che si appoggia e si sposta sul sedile: le disocclusioni semplicemente non saranno così grandi. Ciò significa che i dati utilizzati per riempire i buchi in realtà non devono essere precisi, ma deve solo sembrare plausibile. Quelli di voi che hanno giocato con il riempimento immagine sensibile di Photoshop (o i suoi concorrenti Snapheal per Mac: The Superhero Image Healer [Giveaway] Snapheal per Mac: The Superhero Image Healer [Giveaway] SnapHeal per Mac ($ 14,99) è qui per salvare il vostro fotografie e ne fa un ottimo lavoro Questa settimana distribuiremo 25 copie di Snapheal per Mac per un totale di $ 375. Se ... Leggi di più) sai dove sta andando.

A quanto pare, i ricercatori hanno escogitato alcuni algoritmi abbastanza buoni per riempire i buchi in streaming video in tempo reale. Puoi controllare alcuni esempi qui sotto:

Immagina di scomporre un'immagine di profondità in livelli, sottraendoli uno alla volta per vedere dove potrebbero esserci ombre, e quindi usando questi tipi di algoritmi di pittura per generare immagini plausibili per riempire i fori.

Questo è un po 'più difficile della semplice pittura 2D, poiché l'algoritmo deve anche creare valori di profondità ragionevoli per i fori, ma molte delle stesse tecniche possono essere utilizzate. Questi approcci non funzioneranno perfettamente in tutte le situazioni, ma fintanto che questi artefatti sono meno invadenti dei grandi buchi neri nel mondo, ciò conta ancora come una vittoria.

Quanto tempo prima che siano fatti?

Con le videocamere VR, anche più di altre cose, il perfetto è il nemico del bene.

Anche con la migliore tecnologia che la moneta può acquistare e metraggio attentamente pianificato per minimizzare gli errori di occlusione, i risultati sarebbero ancora imperfetti. Le alte luci speculari, ad esempio, sono macchie di luminosità che appaiono su superfici lucide, che variano in posizione a seconda della posizione della testa, poiché si basano sulla luce riflessa in un angolo molto specifico.

Gli highlight speculari registrati anche nel miglior video VR appariranno come macchie bianche sulla superficie e non guarderanno negli oggetti vicini durante il movimento della testa. Questa è una limitazione che sarà difficile da aggirare. Inoltre, riempire gli errori di occlusione in scene complicate con molti oggetti in movimento è difficile: farlo perfettamente è impossibile e lo sarà per molto tempo.

Saranno anni e forse anche decenni prima che le videocamere VR possano offrire un'esperienza perfetta nello stesso modo in cui le tradizionali pellicole 2D possono. Questo è il sacrificio che fai per sperimentare un mezzo fondamentalmente più potente.

Con tutto ciò che è stato detto, alcune cose davvero interessanti stanno arrivando nel futuro. Ogni singola opzione menzionata in questo articolo può creare esperienze davvero preziose. Annuncio di Samsung di “Progetto oltre” è un segno promettente di cose a venire.

L'Oculus Rift è programmato per il lancio nel 2015, e le cifre di vendita in milioni di unità non sembrano un tratto. Se la realtà virtuale si spegne come sembra, una quantità enorme di progresso tecnologico sta per succedere, in fretta.

La domanda di contenuti consentirà alle telecamere VR di diventare migliori, più piccole e meno costose per soddisfare la domanda. Probabilmente non passeranno molti anni prima che un dispositivo che costa meno di un nuovo telefono e si inserisca nel palmo della mano fornirà una registrazione VR avvincente e confortevole di qualsiasi cosa - e questo sarà molto, molto bello.

Cosa faresti con la tua videocamera VR? Per quale tipo di contenuti sei più eccitato? Fateci sapere nei commenti!

Crediti immagine: occhiali concept Via Shutterstock

Scopri di più su: Realtà virtuale, mondo virtuale.