Cinci întrebări despre Proiectul HoloLens al Microsoft

Miercuri dimineață, Microsoft a prezentat un proiect pe care au lucrat timp de șapte ani, numit căști de realitate augmentate Proiectul HoloLens.

Viziunea este ambițioasă: doresc să schimbe fundamental modul în care oamenii interacționează cu computerele, construind o pereche de ochelari care pot amesteca fluid conținutul virtual și real împreună în spațiul fizic al utilizatorului. Acest lucru este ca și tehnologia realității virtuale De ce tehnologia realității virtuale va sufla mintea ta în 5 ani De ce tehnologia realității virtuale va sufla mintea ta în 5 ani Viitorul realității virtuale include urmărirea capului, a ochiului și a expresiei, atingerea simulată și multe altele. Aceste tehnologii uimitoare vă vor fi disponibile în 5 ani sau mai puțin. Citește mai mult, dar în mod fundamental mai puternic. În plus, doresc să facă toată prelucrarea locală pe ochelari - fără computer, fără telefon, fără cabluri. Ei chiar lansează o versiune specială de Windows doar pentru noul hardware. Aceasta este următoarea etapă în evoluția tehnologică pentru toate jocurile AR. Augmented Reality Apps: Utile sau doar Hype? Testele MakeUseOf Imbunatateste Aplicatiile Realitatii: Utile sau doar Hype? Testele MakeUseOf În 2011, analiștii au anticipat creșterea aplicațiilor mobile Augmented Reality. Tehnologia în devenire va revoluționa modul în care interacționăm cu dispozitivele noastre mobile. Flash înainte de doi ani și zeci de aplicații AR populează toate ... Citește mai multe pe care le-ai instalat pe telefonul tău de data asta și nu ai atins de la.

Raza lor de timp este chiar mai ambițioasă decât obiectivele lor: doresc să livreze kituri de dezvoltatori în primăvară, și produsul de consum “în timpul intervalului Windows 10”. Iată terenul.

Toate acestea sună grozav, dar recunosc un nivel destul de înalt de scepticism.

Tehnologiile pe care Microsoft le utilizează au provocări grave, fundamentale, și până acum Microsoft a fost foarte strans cu privire la modul în care (sau dacă) le-au rezolvat. Dacă nu le-au rezolvat, atunci scopul lor de transport maritim într-un an este foarte important. Ultimul lucru pe care VR și AR îl au nevoie este o mare companie care trimite un alt produs semipreparat ca Kinect. Amintiți-vă demo-ul proiectului Natal din 2009?

Fără alte detalii, iată cele cinci lucruri importante pe care aș vrea să le cunosc despre HoloLens.

Este un afișaj cu câmp luminos?

Pentru a înțelege acest lucru, trebuie să ne uităm mai adânc în 3D și cum funcționează. Pentru a obține senzația unei lumi reale, tangibile 3D, creierul nostru integrează o mulțime de tipuri diferite de informații. Obținem indicii profunde despre lume în trei moduri principale:

• Adâncime stereo - disparitatea dintre ceea ce vedem ambii ochi. Așa cum funcționează filmele 3D
• Paralaxă de mișcare - mișcările subtile ale capului și ale trunchiului ne dau indicii suplimentare de adâncime pentru obiectele care sunt mai departe
• Focalizare optică - când ne focalizăm pe ceva, lentilele ochilor noștri se deformează fizic până când se concentrează; obiectele de lângă câmp necesită o distorsionare a lentilei, care oferă informații despre adâncime despre ceea ce căutăm

Focalizarea optică este ușor de verificat pentru dvs.: închideți un ochi și țineți degetul mare în fața unui perete din cameră. Apoi, deplasați focalizarea de la miniatură la suprafața din spatele ei. Când vă uitați peste degetul mare, degetul mare se va mișca din focalizare, deoarece obiectivul ochiului dvs. este acum mai puțin deformat și nu poate să colecteze corect lumina care vine de la el.

Căștile VR, cum ar fi Oculus Rift, furnizează primele două repere extrem de precise, dar nu ultima, care funcționează în mod surprinzător de bine: ochii noștri impliciți să se relaxeze complet, deoarece optica focalizează imaginile, deoarece lumina provenea din infinit departe. Lipsa tacului optic de focalizare este nerealistă, dar de obicei nu distrage atenția. Aveți în continuare experiențe de joc foarte interesante 5 Experiențele Oculus Rift Gaming care vă vor sufla departe 5 Oculus Rift Gaming Experiențe care vă vor sufla departe Acum, când a doua generație a kitului de dezvoltare Oculus Rift este afară și în mâinile dezvoltatorilor din întreaga lume, să ne uităm la unele dintre cele mai bune lucruri care au lovit Riftul până acum. Citiți mai multe fără ea.

În realitatea augmentată, problema este diferită, pentru că trebuie să amestecați lumina cu obiectele reale și virtuale. Lumina din lumea reală va fi în mod firesc concentrată la o varietate de adâncimi. Conținutul virtual va fi totus, totuși, concentrat pe o distanță fixă, artificială dictată de optică - probabil pe infinit. Obiectele virtuale nu vor arăta ca ele fiind într-adevăr parte din scenă. Ei vor fi în afara de concentrare atunci când te uiți la lucruri reale la aceeași adâncime și invers. Nu va fi posibil să vă mișcați ochiul fluent peste scenă, ținând-o în foc, așa cum faceți în mod normal. Semnalele de adâncime conflictuale vor fi confuze în cel mai bun caz și rău în cel mai rău caz.

Pentru a rezolva acest lucru, aveți nevoie de ceva numit afișaj de câmp light. Afișajele cu câmpuri luminoase sunt afișaje care utilizează o serie de lentile mici pentru a afișa luminile focalizate simultan la mai multe adâncimi. Acest lucru permite utilizatorului să se concentreze în mod natural asupra afișajului și (pentru realitatea augmentată) rezolvă problema descrisă mai sus.

Există totuși o problemă: câmpul de lumină afișează, în esență, un singur ecran 2D pe un câmp de lumină tridimensional, ceea ce înseamnă că fiecare “adâncime pixel” pe care utilizatorul o percepe (și există într-o anumită adâncime focală în scenă) este de fapt alcătuită din lumină de la mulți pixeli de pe afișajul original. Cu cât este mai profund adâncimea pe care doriți să o portrați, cu atât mai multă rezoluție trebuie să renunțați.

În general, câmpurile ușoare au aproximativ un de opt ori reducerea rezoluției pentru a oferi o precizie adecvată a adâncimii. Cele mai bune microprocesoare disponibile au o rezoluție de aproximativ 1080p. Presupunând că un microcontroler de înaltă calitate conduce fiecare ochi, aceasta ar face ca rezoluția reală a setului cu cască Microsoft să fie de aproximativ 500 x 500 pixeli pe ochi, mai puțin chiar decât Oculus Rift DK1. Dacă afișajul are un câmp de vizualizare ridicat, obiectele virtuale vor fi niște blob-uri de pixeli incomprehensibili. Dacă nu, scufundarea va suferi proporțional. Niciodată nu reușim să vedem prin lentilă (doar reciclarea computerului a ceea ce văd utilizatorul), deci nu avem nicio idee despre experiența utilizatorului.

Este posibil ca Microsoft să vină cu o soluție nouă la această problemă, pentru a permite utilizarea unui afișaj de câmp deschis fără compromisul rezoluției. Cu toate acestea, Microsoft a fost extrem de cagey despre tehnologia lor de afișare, ceea ce mă face să bănuiesc că nu au. Iată cea mai bună explicație pe care am primit-o până acum (de la WIRED demo).

Pentru a crea imaginile proiectului HoloLens, particulele de lumină sare în jur de milioane de ori în așa-numitul motor luminos al dispozitivului. Apoi, fotonii intră în cele două lentile ale ochelarilor, unde ricochează între straturile de sticlă albastră, verde și roșie, înainte de a ajunge în spatele ochiului.

Acest tip de descriere a tehnologiei ar putea însemna practic orice (totuși, în corectitudine cu Microsoft, hardware-ul a impresionat WIRED, deși articolul a fost lumină asupra detaliilor).

Nu vom ști mai siguri până când Microsoft nu va lansa specificațiile tehnice, probabil luni de acum înainte. Într-o altă notă de selectare a niturilor, este cu adevărat necesar să se înece proiectul în acest mult marketing-vorbesc? Procesorul dedicat pe care îl utilizează pentru urmărirea capului este numit a “procesor holografic” și imaginile sunt numite “holograme,” pentru nici un motiv special. Produsul este fundamental destul de rece încât nu este cu adevărat necesar să îl faci așa.

Urmărirea este suficientă?

Setul cu cască Project HoloLens are o cameră de înaltă adâncime FOV montată pe acesta (cum ar fi Kinect), pe care o folosește pentru a afla unde este setul cu cască în spațiu (încercând să alinieze imaginea de profunzime pe care o văd cu modelul său din lume, din imagini de adâncime trecute). Iată demo-ul live al setului cu cască în acțiune.

Urmărirea este impresionantă, având în vedere că nu folosește marcatori sau alte cheaturi, dar chiar și în acel videoclip (în condiții strict controlate), puteți vedea o anumită cantitate de încurcături: urmărirea nu este complet stabilă. Acest lucru este de așteptat: acest fel de urmărire în interior este extrem de greu.

Cu toate acestea, lecția mare de la diferitele prototipuri Oculus Rift Urmăriți-ne Încercați Oculus Rift Crescent Bay La CES 2015 Urmăriți-ne Încercați Golful Crescent Rulf Oculus La CES 2015 Oculus Rift Crescent Bay este un prototip nou nou care arată unele îmbunătățiri interesante în tehnologia realității virtuale. Încercăm acest lucru la CES 2015. Citiți mai mult este faptul că precizia de urmărire contează foarte mult. Jittery de urmărire este doar enervant atunci când este vorba de câteva obiecte într-o lume real stabilă în mare, dar în scene cum ar fi demo-ul Marte au arătat în conceptul lor video, în cazul în care aproape tot ceea ce vedeți este virtual, urmărirea imprecis ar putea duce la o lipsă de “prezenţă” în scena virtuală, sau chiar boala simulator. Poate Microsoft să obțină urmărirea până la setul standard stabilit de Oculus (precizie de urmărire sub milimetru și latență totală mai mică de 20 ms) până la data expedierii la sfârșitul acestui an?

Iată Michael Abrash, un cercetător al VR care a lucrat atât pentru Valve, cât și pentru Oculus, vorbind despre această problemă

[Pentru că există întotdeauna o întârziere în generarea de imagini virtuale, [...] este foarte dificil să obțineți imagini virtuale și reale pentru a vă înregistra destul de bine, astfel încât ochiul să nu observe. De exemplu, să presupunem că aveți o adevărată Coca-Cola pe care doriți să o transformați într-un AR Pepsi prin desenarea unui logo Pepsi pe sigla Coca-Cola. Dacă este nevoie de zeci de milisecunde pentru a redrafia logo-ul Pepsi, de fiecare dată când vă rotiți capul, efectul va fi că sigla Pepsi va apărea să se schimbe cu câteva grade față de cutie, iar o parte din sigla Coca-Cola va deveni vizibilă; atunci logo-ul Pepsi va reveni la locul potrivit atunci când vă opriți. Acest lucru nu este în mod clar suficient de bun pentru AR tare

Afișajul poate fi desenat negru?

O altă problemă alături de adâncimea focală și de urmărire are de a face cu desenarea culorilor întunecate. Adăugarea mai multor lumini la o scenă este relativ simplă, folosind separatoare de fascicule. Scoaterea luminii este mult mai dificilă. Cum selecționați selectiv părți din lumea reală? Plasarea unui ecran LCD selectiv transparent nu o va reduce, deoarece nu poate fi întotdeauna focalizată corect pentru a bloca ceea ce căutați. Instrumentele optice pentru a rezolva această problemă, cu excepția cazului în care Microsoft le-a inventat în secret, pur și simplu nu există.

Acest lucru contează, deoarece pentru o mulțime de aplicații pe care Microsoft le prezintă (cum ar fi vizionarea Netflix pe perete), setul cu cască are nevoie de abilitatea de a elimina lumina care vine de la perete, altfel filmul dvs. va avea întotdeauna un model vizibil de stuc cu aceasta: este imposibil ca imaginile să blocheze obiectele reale din scenă, ceea ce face ca utilizarea căștii să depindă în mare măsură de condițiile de iluminare ambientală. Înapoi la Michael Abrash:

Nu este nimic de genul celui care a apărut în industria AR sau în literatură, și dacă și până nu se va întâmpla, AR, în sensul SF pe care îl cunoaștem și îl iubim cu toții, nu se poate întâmpla decât în ​​întunericul apropiat.

Asta nu inseamna ca AR este in afara mesei, doar ca pentru un timp inca va fi soft AR, pe baza amestecului aditiv [...] Din nou, cred ca translucid ca “Ghostbusters.” Imaginile virtuale de înaltă intensitate fără zone întunecate vor funcționa, mai ales cu ajutorul întunecării regionale sau globale - ele nu vor părea ca făcând parte din lumea reală.

Despre Ocluzie?

“Ocluzie” este termenul pentru ceea ce se întâmplă atunci când un obiect trece în fața celuilalt și vă oprește să vedeți ce se află în spatele acestuia. Pentru ca un peisaj virtual să se simtă ca o parte tangibilă a lumii, este important ca obiectele reale să ocolească obiectele virtuale: dacă țineți mâna în fața unei imagini imaginare virtuale, nu ar trebui să o vedeți mână ta. Din cauza utilizării unei camere de adâncime pe setul cu cască, acest lucru este posibil. Dar, vizionați din nou demo-ul live:

În general, ele controlează cu grijă unghiurile camerei pentru a evita trecerea obiectelor reale în fața celor virtuale. Cu toate acestea, atunci când demonstratorul interacționează cu meniul Windows, puteți vedea că mâna ei nu îl exclude deloc. Dacă acest lucru nu se limitează la tehnologia lor, este un semn foarte rău pentru viabilitatea produsului lor de consum.

Și vorbind despre UI ...

Este acest lucru UI final?

UI afișat de Microsoft în videoclipurile demo pare să funcționeze utilizând o combinație de vizionare și de urmărire a mâinilor pentru a controla un cursor în scena virtuală, în timp ce utilizați comenzi vocale pentru a selecta între diferite opțiuni. Acest lucru are două dezavantaje majore: te face să arăți ca un puști mic din Shining care vorbește cu degetul său, dar mai important, de asemenea, reprezintă o paradigmă de design fundamental defectuoasă.

Din punct de vedere istoric, cele mai bune interfețe de utilizare au fost cele care aduc intuiții fizice despre lume în lumea virtuală. Mouse-ul a făcut clic, trage și ferestre. Interfața de atingere a adus glisare pentru a derula și a prinde pentru a mări. Ambele au fost critice pentru a face computerele mai accesibile și mai utile pentru populația generală - pentru că ele erau fundamental mai intuitive decât ceea ce a apărut anterior.

VR și AR vă oferă mult mai multă libertate ca designer: puteți plasa elemente UI oriunde într-un spațiu 3D și permiteți utilizatorilor să interacționeze cu ei în mod natural, ca și cum ar fi obiecte fizice. Un număr mare de metafore evidente se sugerează. Atingeți un element UI virtual pentru al selecta. Strângeți-o și ridicați-o și mutați-o. Glisați-l afară din cale să-l stocați temporar. Striviți-l pentru al șterge. Vă puteți imagina construirea unei interfețe de utilizator care este atât de intuitivă încât nu necesită explicații. Ceva pe care bunicul tău îl poate ridica instantaneu, pentru că este construit pe baza unor intuiții fizice de bază pe care toată lumea le construiește pe parcursul unei vieți de interacțiune cu lumea. Luați un minut și ascultați această persoană inteligentă descrie ce interfețe imersive ar putea fi.

Cu alte cuvinte, mi se pare evident (pentru mine) că o interfață de utilizare imersivă ar trebui să fie macar la fel de intuitiv ca interfețele de atingere pionierate de iPhone pentru ecrane multitouch 2D. Construirea unei interfețe în jurul manipulării unui VR “șoarece” este un pas înapoi și expune fie deficiențe tehnologice profunde în tehnologia de urmărire a mâinilor, fie o neînțelegere fundamentală a ceea ce este interesant în acest mediu nou. Oricum, este un semn foarte rău pentru acest produs fiind mai mult decât o flop colosal, de tip Kinect.

Sperăm că Microsoft are timp să obțină feedback și să facă o treabă mai bună. De exemplu, aici este o interfață proiectată de un pasionat pentru Oculus Rift DK2 și Leap Motion. Un interfață imersivă proiectată de o companie mare ar trebui să fie cel puțin bine.

Un semn de lucruri care urmează să vină

În ansamblu, sunt extrem de sceptic față de proiectul HoloLens ca întreg. Sunt foarte bucuros că o companie cu resurse Microsoft investighează această problemă, dar mă preocupă că încearcă să grăbească un produs fără a rezolva anumite probleme tehnice esențiale, sau să creeze o paradigmă bună a UI. HoloLens este un semn al lucrurilor viitoare, dar asta nu înseamnă că produsul în sine va oferi o experiență bună consumatorilor.

Credit de imagine: mulțumită Microsoft

Explorați mai multe despre: Realitatea Augmented, Microsoft, Realitatea virtuală.