VR este pe cale să schimbe filmarea pentru totdeauna Iată cum

Hollywoodul vorbește despre realitatea virtuală. La conferința Oculus Connect luna trecută, un întreg panou de alumuri de la Hollywood a vorbit despre tehnologie și despre aplicațiile sale în filme.

Între timp, hitters greu în industrie încep să cântărească. James Cameron îl urăște. David Attenborough face un documentar despre asta. Filmul recente (excelent) Interstellar a avut o experiență VR care o promova.

Realitatea virtuală este un nou mod de a comunica cu spectatorul dvs. și mulți oameni care au un background în filmarea tradițională găsesc posibilitățile interesante. Realitatea reală, în loc să ofere doar o fereastră unei lumi noi, permite directorilor să preia controlul întregii lumi în jurul spectatorului.

Ce puteți face cu o cameră VR?

Nu este nevoie de multă imaginație pentru a fi încântat de ideea camerelor VR. Filmarii ar putea aduce literalmente fata in fata cu personajele lor si sa le imortalizeze in lumi spectaculoase, bizare. Fotografii puteau captura scene întregi, înghețate în timp, pentru a fi percepute de oricine, oriunde în lume.

Documentarii ar putea lua publicul în locuri pe care altfel nu le-ar fi putut vizita. S-ar putea să trimită o cameră VR la fundul oceanului și să lase telespectatorii să stea în mijlocul sala de bal a Titanicului. Natura documentare ar putea manipula timpul și spațiul, punând utilizatorii printre furnici la dimensiunile câinilor sau construind secvențe de expirare imersive. NASA ar putea monta o cameră VR pe un rover de pe Marte și ar permite milioane de oameni să stea pe planeta roșie.

Există, de asemenea, desigur, mai multe aplicații luminoase:

Unul dintre cheile succesului VR al consumatorilor va fi videoclipurile stereoscopice panoramice ale pisicilor.

- John Carmack (@ID_AA_Carmack) 06 noiembrie 2014

VR video live ar putea fi, de asemenea, foarte convingătoare. Jocurile sportive ar putea fi vizitate de la distanță, camerele VR ar da tuturor scaunelor din curte. Chiar și turismul ar putea fi virtual.

Utilizatorii puteau să închirieze un robot simplu de teleprezență (poate un Segway cu o cameră VR așezată pe ghidon) și să-l piloteze în jurul valorii de oriunde în lume. Segway va reda video în direct, permițând practic turistilor “Teleport” ei înșiși pe planetă pentru a explora oriunde. Se pare sigur că VR va schimba lumea De ce tehnologia realității virtuale vă va arunca o privire în 5 ani De ce tehnologia realității virtuale vă va arde mintea în 5 ani Viitorul realității virtuale include urmărirea capului, a ochilor și a expresiei, simularea atingerii , și mult mai mult. Aceste tehnologii uimitoare vă vor fi disponibile în 5 ani sau mai puțin. Citeste mai mult .

Filmarea VR are însă multe provocări. Cum pot directorii să deplaseze camera foto în timp ce ține confortabil spectatorul? Cum directorii taie filmul fără a dezorienta privitorul? Cum se asigură că privitorul privește în direcția corectă pentru a prinde evenimente importante de complot? Îmbunãtãțimile au chiar sens?

Poate cele mai mari probleme, însă, sunt cele practice: cum înregistrați conținut pentru realitatea virtuală? Redarea conținutului VR live pentru jocuri este intensivă din punct de vedere computațional, dar conceptual simplă. În schimb, înregistrarea vieții reale reprezintă o provocare serioasă.

Cameră panoramică

Cea mai simplă soluție (și singura disponibilă pe moment) este înregistrarea video panoramică simplă. În această schemă, o minge de camere convenționale sunt utilizate pentru a înregistra video în toate direcțiile, iar rezultatele sunt legate împreună cu software-ul pentru a crea o sferă de film fără sudură. Acestea sunt asemănătoare cu panoramele pe care le-ați făcut 5 Sfaturi pentru a face fotografii panoramice cu telefonul dvs. smartphone 5 sfaturi pentru a face fotografii panoramice cu Smartphone Imaginile panoramice ale peisajelor uimitoare aproape întotdeauna arata minunat, dar acestea pot fi extrem de dificil de a crea. Folosind un smartphone, există diferite tehnici și trucuri pe care le puteți angaja pentru a obține cele mai bune rezultate. Citiți mai multe e cu telefonul dvs., dar înregistrați simultan în format video. Ieșirea procesului arată cam așa:

Acest lucru este simplu și ieftin. Puteți pre-comanda o cameră panoramică pentru aproximativ 700 $, dar are limitări. Cea mai importantă este lipsa adâncimii: panoramele sunt redate într-o sferă infinit de mare, astfel că paralaxia dintre ochii tăi este zero, chiar și pentru anumite părți ale imaginii care ar trebui să aibă adâncime, ca o persoană care stă alături de tine.

În ciuda acestui neajuns, experiența oferită de videoclipul panoramic este în continuare surprinzător de rece, în special pentru conținutul care are loc la distanță (fotografia aeriană este un bun exemplu). Acum o săptămână, am construit o aplicație Oculus Rift care face un cockpit virtual în interiorul videoclipului de mai sus, iar rezultatele sunt convingătoare: se simte ca o călătorie într-un submarin înconjurat de țestoase marine dimensiunea clădirilor mici.

Gândiți-vă la acest tip de conținut VR ca la un teatru personal super-IMAX în care stați suspendat în mijlocul unui vast ecran sferic. Sentimentul locului furnizat de videoclipul sferic este deja ceva imposibil de folosit cu ajutorul instrumentelor tradiționale de filmare. Chiar și cu limitările sale, probabil că cel mai mare videoclip VR va arăta în viitorul apropiat. Documentarul lui Richard Attenborough (“Cucerirea cerului“) este împușcat în acest format.

Cameră stereo panoramică

Să spunem că un regizor este nemulțumit de limitarea panoramelor monoscopice. O extensie evidentă a tehnologiei este de a aduce tehnologia 3D side-by-side: Funcția de a face imagini 3D pentru a vizualiza fără ochelari Distracție veche: Cum să faceți imagini 3D pentru a vizualiza fără ochelari Credeți-vă sau nu, de fapt, nu aveți nevoie de ochelari 3D pentru a vedea imagini 3D (sau filme) convingătoare realiste. Trebuie doar să pleci “sașiu”. În esență, te uiți la două imagini, și intenționat ... Citește mai mult. Pentru a face acest lucru, hardware-ul are nevoie de două camere paralele cu care se confruntă fiecare direcție, dispuse cu aproximativ 6,3 cm. Apoi, camera folosește software pentru a îmbina două imagini panoramice: una pentru ochiul stâng și una pentru dreapta. Diferența dintre ele creează iluzia profunzimii. Produsele care acceptă această experiență sunt disponibile, deși sunt scumpe (995 dolari, plus costul a zece camere GoPro).

Într-un efort de a face acest tip de conținut mai larg, Samsung a anunțat recent “Proiectul Dincolo”, o cameră panoramică VR stereo pentru căștile Oculus-Samsung Gear VR mobile. Prototipul actual are factorul de formă al unui puck mic și folosește 17 camere HD și face un gigapixel pe secundă de date.

La 30 cadre pe secundă, aceasta funcționează la cadre panoramice care sunt de aproximativ 15 megapixeli per ochi sau aproximativ 50 000 de pixeli per ochi per grad vizual. Informațiile despre prețuri sunt încă un mister, iar Samsung subliniază faptul că acesta nu este un proiect finalizat. Puteți vedea videoclipul previzualizat de mai jos.

Panoramele panoramice sunt în mod clar o experiență mai bună decât frații lor monoscopici - lucrurile mari arătau mari, lucrurile mici arătau mici, obiectele aveau adâncime și poziție și se simțea mult mai mult ca și cum ar fi acolo. Acestea fiind spuse, experiența este încă departe de a fi perfectă. Așa cum descrie John Carmack în tastatura Oculus Connect, panoramele stereo au o mulțime de probleme.

“... panorame stereoscopice, indiferent dacă sunt sau clipuri video, sunt absolut un hack. Există - știm ce drept este și nu este corect. Ceea ce fac ei e ca ai luat felii luate de pe mai multe camere, asa ca inainte este stereo-ul potrivit pentru un para-intelept si apoi aici este potrivit pentru asta. Dar asta înseamnă că dacă te uiți la ceea ce a fost potrivit pentru ochii de aici, dar te uiți la colțul ochiului tău aici, cu siguranță nu e drept. Nu este diferența potrivită pentru ochi.

Și chiar și mai rău, dacă vă întoarceți capul așa [rola cap], devine tot felul de rău, pentru că este configurat doar pentru ochii drept înainte. A fost un lucru interesant. Avem lucrurile unde știm, în principiu, în unele privințe, că acest lucru poate fi otrăvit, aceasta poate fi o experiență foarte proastă dacă oamenii pe care îi petreceți foarte mult timp. [...]

Acestea sunt probleme tehnice care ar putea fi rezolvate de hardware mai bun. Cu toate acestea, există o problemă mai profundă: ce se întâmplă atunci când vă mutați capul? Panoramele pentru ambii ochi sunt încă prestate la infinit: mișcarea fizică a capului va duce la senzația de greață că lumea se mișcă cu tine, mai ales dacă există obiecte apropiate de tine. Nu există nici un mod simplu de a descoperi ce ar arăta o imagine stereoscopică dintr-un punct de vedere nou.

În ciuda acestor limitări, experiențele panoramice stereo sunt încă convingătoare. Platforma Gear VR se va concentra pe aceste tipuri de experiențe, deoarece acestea pot fi create cu hardware modern și afișate fără a impozita capacitățile de redare ale hardware-ului. Panoramele stereo vor fi, probabil, standardul de aur pentru producția de conținut VR, cel puțin pentru următorii câțiva ani.

Camere de adâncime

O alternativă pentru captarea a două imagini "side by-side" (ca în cazul filmelor 3D tradiționale) este de a capta imaginile de profunzime: o singură imagine capturată dintr-o singură perspectivă, care conține un canal de culoare suplimentar care stochează distanța de la obiectiv din pixelul în cauză.

Dacă aveți acest lucru, software-ul poate simula camerele virtuale care văd imaginea din perspective noi, asigurându-vă că aveți întotdeauna o nouă imagine corectă din fiecare ochi. Este posibil să se genereze imagini de profunzime panoramice care permit mișcarea și rotirea naturală a capului într-un mod care nu este posibil cu panorame stereo. Există câteva tehnologii pe care le puteți utiliza pentru a captura aceste imagini de adâncime.

Ora zborului

Versiunea acestei tehnologii pe care probabil vă cunoașteți este cea utilizată în Kinect. Kinect V2 (versiunea inclusă împreună cu Xbox One) se bazează pe ceea ce este cunoscut ca o cameră cu timp de zbor.

Teoria aici este simplă: camerele cu timp de zbor sunt camere cu infraroșu care sunt capabile să înregistreze nu numai unde lumina izbucnește senzorul, ci cand lumina izbucnește senzorul, cu o precizie de câteva microsecunde. Aceasta este cuplată cu o cameră video color și cu o lumină stroboscopică în infraroșu. La începutul fiecărui cadru, stroboscopul IR clipește, iluminând scena foarte scurt. Prin sincronizarea cât timp durează fiecare pixel să observe blițul, camera poate deduce din viteza luminii cât de departe este fiecare pixel din camera.

Această tehnologie este extrem de puternică. Hackerii au făcut câteva lucruri incredibile 5 Microsoft Xbox Kinect Hacks, care va sufla mintea ta 5 Microsoft Xbox Kinect Hacks, care va sufla mintea ta Citește mai mult cu ea. Prin utilizarea mai multor Kinect-uri într-o configurație suprapusă, este posibil să fie posibilă crearea unei panorame a unei scene, cu o valoare precisă a adâncimii pentru fiecare pixel, care ar putea fi redată în realitatea virtuală pentru a crea o experiență imersivă cu o adâncime corectă.

Pentru a obține o idee despre tipurile de rezultate pe care această abordare le produce, verificați acest videoclip care arată ieșirea doar din camera de adâncime a aparatului Kinect V2.

Aceasta este o imagine de profunzime de înaltă calitate - o mulțime de detalii, muchii curate și nu prea mult zgomot. Există, totuși, unele limitări: cel mai mare avertisment este că Kinect din acest exemplu înregistrează o scenă interioară cu condiții de iluminare atent controlate.

În cazul scenariilor din lumea reală (și în special în exterior), interferențele IR de la lumina directă și indirectă a soarelui și sursele de lumină incandescentă pot degrada acuratețea. Există, de asemenea, o problemă mai fundamentală, și anume că timpul camerelor de zbor depinde de iluminarea activă. Asta pune unele limite greu asupra cât de departe pot vedea. De asemenea, ele nu se descurcă bine cu suprafețe transparente și reflectorizante. Și, deoarece rezoluția adâncimii este limitată de precizia timpului, camerele cu timp de zbor nu sunt foarte utile pentru înregistrarea obiectelor mici, ceea ce face imposibilă jocul cu scala.

Câmpul de lumină

O tehnologie diferită pentru capturarea imaginilor în profunzime este cunoscută sub denumirea de "lumină" de fotografie Lytro Light Field Camera: Snap Happy sau Photo Gimmick? Lytro Lumina Camera Camera: Snap fericit sau fotografie Gimmick? Descris de un angajat ca fiind "prima schimbare majoră în fotografie, de când fotografia a fost inventată", camera de lumină Lytro este cu siguranță un dispozitiv revoluționar. Camera foto shake lucrurile prin înlocuirea o mare parte din grele ... Read More .

Iată cum funcționează: în fotografia obișnuită, obiectivul camerei foto focalizează lumina care intră pe un senzor. Fiecare element al senzorului înregistrează cantitatea de lumină care îl lovește. Camerele de câmp ușor utilizează un senzor special, în care fiecare “pixel” este de fapt un obiectiv mic, cu mai mulți senzori sub el. Acest lucru permite camerei să măsoare nu numai cât lumină atinge fiecare pixel, dar și unghiul în care lumina se apropie.

Acest lucru este util din câteva motive. Cea mai simplă aplicație este aceea că, schimbând modul în care acest "câmp luminos" mare este eșantionat, utilizatorii finali pot re-focaliza o fotografie după ce au fost luați. Aplicația care este interesantă pentru VR, este că camerele cu câmpuri de lumină sunt, de asemenea, camere de adâncime! Unghiul luminii de intrare de la un obiect este o funcție a cât de departe este obiectul din obiectiv, în raport cu dimensiunea diafragmei. Obiectele de departe produc lumină aproape perpendiculară pe obiectiv. Obiectele foarte apropiate produc lumină aproape paralelă. Din aceasta, este posibil să determinați (foarte precis) harta hărții adâncime a unei imagini.

Puteți vedea câteva rezultate dintr-o cameră video de câmpuri luminoase de mai devreme, și ceea ce arată imaginea reproiectată dintr-un unghi diferit.

Deoarece este un proces pasiv, limita de distanță și precizia spațială sunt definite de rezoluție și mărimea diafragmei, și nimic altceva. Aceasta înseamnă că, prin utilizarea lentilelor de mărire, este posibil să luați imagini de adâncime de câmp de lumină de aproape orice obiect, la orice scară, în orice condiții. Pentru a obține un exemplu despre ceea ce este posibil cu câmpuri luminoase mai extinse și mai exacte, urmăriți acest videoclip, care utilizează mai multe cadre dintr-o cameră cu lumină portabilă pentru a simula un câmp de lumină mult mai mare. Aceasta generează o geometrie 3D destul de convingătoare.

Camerele cu câmpuri ușoare reprezintă o tehnologie mult mai puțin matură decât camerele cu timp de zbor (există o singură cameră de lumină pe piața de consum chiar acum și nu suportă captarea video). Acestea fiind spuse, cu mai mult timp de dezvoltare, camerele cu câmpuri de lumină ar trebui să ofere o experiență video mult mai robustă pe termen lung.

Confruntarea cu disocularea

Există o problemă majoră cu videoclipurile profunde care merită menționate: mișcarea capului. Da, este posibil să reprogramați videoclipurile profunde în perspective noi și toți pixelii să se termine acolo unde ar trebui să fie. Video de profunzime nu te va face rău. Din nefericire, ei introduc o nouă problemă: dezocluzie.

Când vă mișcați capul în așa fel încât să vă uitați la o parte a lumii care nu este vizibilă în imaginea sau panorama originală, veți obține un artefact vizual urât: o umbră. Pentru a obține o idee despre ceea ce vorbesc, vizionați acest videoclip:

În acest videoclip, un programator a lovit Kinect pentru a face un film de profunzime despre ceea ce vede în spațiu. Prin mișcarea camerei virtuale, el reproiectează scena dintr-o serie de perspective.

Este o primă generație Kinect, deci feed-ul video este puțin glitch, dar rezultatele sunt destul de impresionante. Cel mai mare dezavantaj, care devine evident când începe să transforme camera, este umbrele din scenă. Porțiunea peretelui din spatele corpului său are o gaură enormă, în formă de persoană, decupată din ea: partea pe care camera nu o poate vedea și pentru care nu există date. Aceste umbre negre vor apărea în panorame profunde imediat ce capul începe să se miște. Deci, cum se ocupă camerele VR de aceste găuri? Există câteva abordări ale acestei probleme:

Mai multe camere

Soluția cea mai simplă este de a înregistra doar lucrurile în jurul colțurilor și în spatele suprafețelor ocluzive. Pentru a face acest lucru, adăugați mai multe camere - multe altele. Pentru a permite oamenilor să-și mute capul până la, de exemplu, un metru în orice direcție, camera trebuie să fie extinsă pentru a crea o sferă largă de 2 metri cu o cameră de înaltă adâncime FOV, astfel încât software-ul să poată sintetiza orice punct de vedere sfera.

Aceasta este abordarea cea mai robustă, dar și cea mai puțin practică. O sferă de camere de doi metri nu este un steadicam frumos, portabil, este o instalație și una scumpă. Acest lucru ar putea fi practic pentru unele producții high-end de la Hollywood, dar cu siguranță nu pentru cele mai multe aplicații din lumea reală. Puteți vedea un prototip al acestei idei de mai jos, implementat sub forma unei aplicații live de teleconferință 3D:

Reconstrucția scenei

O altă abordare, în cazul în care creatorul video înregistrează în principal câteva obiecte dinamice împotriva unui fundal static, este utilizarea unei camere de adâncime pentru a cartografia mediul înainte de a începe să filmeze și utilizarea acestor date pentru a umple găurile în imaginile înregistrate. Acest lucru se poate face automat folosind o tehnică numită SLAM (Locație simultană și cartografiere), care îmbină automat multe imagini de adâncime pentru a crea o hartă 3D completă a unei scene. Rezultatele arată astfel:

Acest lucru funcționează destul de bine, dar nu este potrivit pentru toate situațiile. Nu este greu să-ți imaginezi că încerci să filmezi o scenă într-un loc ocupat, unde o mare parte din fundal constă din oameni care se mișcă și se închid unul pe celălalt. Capturarea unei singure versiuni statice a acelei scene pentru a completa găurile pur și simplu nu este posibilă. În plus, în scopuri documentare, video vii sau știri, nu va fi practic să se evalueze exhaustiv mediul în prealabil.

Doar a face lucrurile sus

Ultima abordare a problemei este aceea de a recurge la răspunsul obișnuit în cazurile în care nu aveți suficiente date: minciuna totală.

Perspectiva este că, în viața reală, spectatorul nu se va ridica și nu va încerca să meargă în jurul scenei. Ei se vor așeza și ceea ce software-ul trebuie să corecteze sunt mici variații în posesiune, cauzate de privitorul înclinat și schimbându-se în scaun - dezacluziile pur și simplu nu vor fi atât de mari. Asta înseamnă că datele folosite pentru a completa găurile nu trebuie să fie corecte, ci trebuie să arate plauzibile. Cei care au jucat cu imaginea completă a imaginii Photoshop (sau a concurenților săi Snapheal for Mac: Superhero Image Healer [Giveaway] Snapheal pentru Mac: Superhero Image Healer [Giveaway] SnapHeal pentru Mac (14.99 dolari) este aici pentru a vă salva fotografii, și face o treabă bună de ea.În această săptămână, vom da departe 25 de copii de Snapheal pentru Mac în valoare de $ 375 în total.În cazul în care ... Citește mai mult) știu unde se întâmplă acest lucru.

După cum se dovedește, cercetătorii au venit cu niște algoritmi destul de buni pentru umplerea găurilor în fluxurile video live în timp real. Puteți să vedeți câteva exemple de mai jos:

Imaginați-vă că descompuneți o imagine în profunzime în straturi, scăzându-le unul câte unul pentru a vedea unde ar putea să apară umbrele și apoi folosiți aceste tipuri de algoritmi de creare a imaginilor pentru a genera imagini plauzibile pentru a umple găurile.

Acest lucru este un pic mai greu decât o simplă pictura 2D în pictura, deoarece algoritmul trebuie, de asemenea, să facă valori rezonabile pentru adâncime, dar multe dintre aceleași tehnici pot fi folosite. Aceste abordări nu vor funcționa perfect în toate situațiile, dar atâta timp cât aceste artefacte sunt mai puțin intruzive decât găurile negre mari din lume, care încă mai contează ca o victorie.

Cât de mult până când acestea sunt terminate?

Cu camerele VR, chiar mai mult decât alte lucruri, perfectul este inamicul binelui.

Chiar și cu cea mai bună tehnologie, banii pot fi cumpărați și filmați atent planificați pentru a minimiza erorile de ocluzie, rezultatele ar fi totuși imperfecte. Obiectivele luminoase, de exemplu, sunt pete de strălucire care apar pe suprafețe lucioase, care variază în funcție de poziția capului, deoarece se bazează pe reflectarea luminii la un unghi foarte specific.

Spectacolele subliniate înregistrate chiar și în cel mai bun film VR vor apărea ca pete albe pe suprafață și nu vor arăta drept pe obiectele din apropiere în timpul mișcării capului. Aceasta este o limitare care va fi greu de învins. Mai mult, umplerea erorilor de ocluzie în scene complicate cu o mulțime de obiecte în mișcare este greu - o face perfect este imposibilă și va fi pentru o lungă perioadă de timp.

Va fi de ani si poate chiar decenii inainte ca camerele VR sa poata oferi o experienta perfecta in acelasi fel ca si filmul traditional 2D. Acesta este jertfa pe care o faci pentru a experimenta un mediu fundamental mai puternic.

Cu tot ce a spus, unele chestii foarte interesante se îndreaptă în jos pe țeava în viitorul apropiat. Fiecare opțiune menționată în acest articol poate crea experiențe valoroase. Anunțul Samsung de “Proiectul Dincolo” este un semn promițător al lucrurilor care vor veni.

Oculus Rift este programat să lanseze cândva în 2015, iar vânzările în milioane de unități nu par a fi o întindere. Dacă realitatea virtuală se va desprinde așa cum pare, s-ar întâmpla un progres enorm de progres tehnologic, rapid.

Cererea de conținut va determina aparatele foto VR să devină mai bune și mai mici și mai ieftine pentru a satisface cererea. Probabil că nu va mai fi mulți ani înainte ca un dispozitiv care costă mai puțin decât un telefon nou și care se potrivește în palma mâinii dvs. va oferi o înregistrare convingătoare, confortabilă a VR a oricărui lucru - și asta va fi foarte, foarte cool.

Ce ai face cu camera ta VR? Pentru ce fel de conținut sunteți cel mai entuziasmat? Spuneți-ne în comentariile!

Creditele de imagine: Conceptul de ochelari Prin intermediul Shutterstock

Explorați mai multe despre: Realitatea virtuală, Lumea virtuală.