De hardware voor de metaverse inschakelen

Over de metaverse wordt veel gesproken, vooral met bedrijven als Facebook en Nvidia die hun visie op de digitale toekomst presenteren. Maar wat is precies de metaverse, wat zijn de hardware-uitdagingen om het mogelijk te maken en welke elementen zijn al aanwezig? Analistenbureau IDTechEx heeft onlangs de voortgang op gebieden als displays, beeldsensoren, optica, haptiek, augmented reality / virtual reality diepgaand onderzocht; we presenteren een deel van die discussie hier.

Het eindspel voor de metaverse is dat virtuele werelden naadloos naast de echte bestaan, met meeslepende interacties tussen de twee die onze perceptie van fysieke aanwezigheid veranderen. De software hiervoor is er bijna, maar de hardware heeft nog veel hindernissen te overwinnen.

De metaverse belooft een stapsgewijze verandering in de manier waarop de samenleving communiceert, maar zal zonder de hardwaretechnologie uiteindelijk een luchtkasteel blijven. We zullen nog steeds in staat zijn om met de metaverse te communiceren via onze telefoons en laptops, maar dit zullen legacy-apparaten worden. Om onszelf onder te dompelen, is hiervoor een virtual reality (VR)-headset nodig; voor echte integratie tussen de gemaakte en de fysieke, augmented reality (AR) apparaten zijn vereist.

Een toetssteen in de AR/VR-apparaatindustrieën is sociale aanvaardbaarheid en zonder vooruitgang in detectie-, weergave- en optische technologie zullen AR- en VR-headsets niet strak genoeg zijn om dit te bereiken. Ondanks dat er miljarden dollars in de ontwikkeling worden gestoken, zei IDTechEx dat echte AR-brillen nog lang niet in de buurt komen van Ray-Bans als het gaat om uiterlijk of het weergeven van afbeeldingen van IMAX-kwaliteit. Meta (voorheen Facebook) kondigde zijn AR-brilproject aan op hetzelfde moment als de naamsverandering, en gaf toe dat ze jaren van levensvatbaarheid waren. VR-headsets nodigen soms uit tot vergelijkingen met Robocop - alleen de meest geavanceerde apparaten beginnen de scheidslijn tussen wat echt is en wat niet te vervagen.

Op de lange termijn is het doel een licht en comfortabel apparaat dat je de hele dag kunt dragen, schakelen tussen AR en VR en tegelijkertijd natuurlijke interacties mogelijk maken tussen jezelf en andere metaverse gebruikers. De technologische reis naar de hardware die nodig is om dit hypothetische apparaat te maken, biedt nog boeiendere ontwikkelingen en complexe uitdagingen dan de software.

MicroLED-schermen maken deel uit van de oplossing

Door een scherm recht voor je ogen te plaatsen, worden dingen zichtbaar die we niet opmerken als we naar een telefoon of tv kijken. We zien de gaten tussen pixels in een fenomeen dat het schermdeureffect wordt genoemd en de vuistregel is dat er 60 pixels per graad (ppd) gezichtsveld nodig zijn om VR of AR op de realiteit te laten lijken, wat leidt tot hoge eisen aan de resolutie . Bovendien is er optica nodig om deze afbeeldingen scherp te stellen en de juiste grootte te geven voor ons zicht. In het geval van AR zijn deze optica erg inefficiënt, wat leidt tot een helderheidsbehoefte van miljoenen nits. Ter referentie:het scherm van de iPhone 13 Pro Max haalt een maximum van 1200 nits.

MicroLED-displays zijn een veelbelovende oplossing voor AR en VR. Ze hebben geen last van inbranden zoals OLED-schermen, kunnen waanzinnige helderheidsniveaus hebben (JadeBird maakt er een voor AR-toepassingen met een maximale helderheid van 3 miljoen nits), en maken kleine pixelafstanden mogelijk, waarbij Mojo Vision produceert wat ze een nanoLED noemen scherm dat klein genoeg is om in een contactlens te passen en een subpixelafstand van 900 nm heeft.

Er is echter één groot probleem:microOLED-microdisplays zijn niet goed in het produceren van kleurenafbeeldingen, waarbij blauwe microLED's aanzienlijk efficiënter zijn dan andere kleuren. Quantum dot-kleurconversie is hier de favoriete oplossing, waardoor de conversie van blauw licht naar rood en groen mogelijk is, en deze quantum dots kunnen inkjet-geprint of lithografisch van een patroon worden voorzien. Er zijn nog steeds zorgen over de levensduur, vooral in zeer heldere microdisplays, evenals de afhankelijkheid van zware metalen in veel formuleringen. De ontwikkelingstijdlijn voor microLED-schermen wordt in detail beschreven in dit rapport over technologie, commercialisering, kansen, markt en spelers.

Het grootste slagveld voor met name AR is combiner-optica. Deze apparaten overlappen geprojecteerde beelden op een transparante lens. Hier strijden bedrijven voor de beste kleurweergave, het breedste gezichtsveld en de grootste eyebox om een ​​overtuigende weergave-ervaring mogelijk te maken die voor elk stel ogen werkt.

Gezien het grote nieuws dit jaar op dit gebied, lijken golfgeleiders met oppervlaktereliëf de oplossing waar de industrie op gokt. In mei werd WaveOptics overgenomen door Snap (een andere socialemediagigant die naar de metaverse kijkt) en in november leidden de investeringen van giganten als Samsung Electronics in Digilens tot een waardering van $ 500 miljoen. Beide zijn fabelachtige golfgeleiderbedrijven. Een opwindende ontwikkeling van Digilens is de TREX-golfgeleider, die de effectieve schermresolutie kan verdubbelen en één wapen in het arsenaal biedt om de 60ppd te bereiken. Een ander rapport over optica en displays in AR, VR en MR behandelt de technologieën, spelers en markten, en gaat in detail in op optische combiner en displaytechnologie in deze toepassingen.

Eye-tracking-technologie

Als je zou proberen een headset te bouwen die alle 135 ° van het horizontale gezichtsveld van elk oog beslaat met een resolutie van 60ppd, zou het snel onhandelbaar worden - gelukkig is alleen het centrum van ons zicht van deze hoge kwaliteit, met de buitenranden niet zo veeleisend. Door onze ogen te volgen, kan de resolutie worden gemaximaliseerd in het midden van waar de gebruiker kijkt, terwijl de eisen elders worden verlaagd.

In de toekomst kan deze eye-tracking-technologie zelfs worden gebruikt om AR/VR-beelden rechtstreeks op het netvlies te projecteren via laserstraalscannen, waardoor de behoefte aan combinatoroptiek en correctie voor brildragers wordt vermeden:dat wil zeggen, als consumenten vertrouwd kunnen raken met het idee.

Bedrijven in deze ruimte gebruiken opkomende beeldsensortechnologieën om het oog efficiënter te volgen. Op gebeurtenissen gebaseerde visie kan helpen om de verwerkingseisen laag te houden door beweging van nature vast te leggen in plaats van een stroom van conventionele beeldframes. Met behulp van geprinte beeldsensoren kan eye-tracking-technologie in een slanker pakket worden geperst. Meta Materials Inc. (geen relatie met Meta) sluit microcamera's al rechtstreeks in brillenglazen in en deze benadering zal worden geïntegreerd in combiner- of vergrootglasoptiek voor respectievelijk AR en VR naarmate de technologie volwassener wordt.

Haptiek en zintuiglijke ervaringen

Alles wat tot nu toe is besproken, komt neer op niet meer dan een high-end tv vastgebonden aan je gezicht als je er niet mee kunt communiceren op een manier die lijkt op de echte wereld. Niet alleen AR- en VR-apparaten moeten onze bewegingen voelen, maar voor volledige onderdompeling zijn ook haptische (aanraakfeedback) apparaten vereist. In november 2021 toonde Meta's Reality Labs (RL)-divisie een prototype haptiekhandschoenproduct, inclusief video's van Mark Zuckerberg die verschillende demo's uitprobeerde. Deze handschoen maakt gebruik van microfluïdische systemen om lokale haptische feedback te geven aan verschillende delen van de hand, waardoor elke vinger meer touch-feedback lijkt te geven. Hoewel er enige controverse was over de gelijkenis van dit prototype met een product van HaptX, is de IP-positie van Meta hier sterk en het vertegenwoordigt de inspanningen van metaverse-gerichte bedrijven om ervoor te zorgen dat zintuiglijke ervaringen voorbij het audiovisuele worden geleverd, volgens IDTechEx.

De analist zei dat een van de belangrijkste winnaars aan de sensing-kant in recente headsets de time-of-flight-camera's zijn geweest voor het volgen van de hand, waardoor de noodzaak van interacties in gamecontroller-stijl met VR- en AR-apparaten wordt geëlimineerd. Het is bekend dat Apple al jaren investeert in de VR/AR-ruimte en in oktober 2021 meldden bronnen uit de industrie dat LG Innotek was begonnen met het leveren van camera's voor het vliegen aan het bedrijf voor een VR-headset die in 2022 op de markt zal komen. een technologie is, is het meestal een krachtig statement dat het op het punt staat alomtegenwoordig te worden en een ander datapunt in de sterke toekomst voor AR en VR vertegenwoordigt.

IDTechEx besluit te zeggen dat, in beperkte mate, de metaverse er al is. De hardware-ontwikkelingsberg die de volledige realisatie ervan verhindert, wordt langzaam beklommen en lichte, mooie AR-brillen die onze telefoons en laptops in de toekomst zullen vervangen, voelen als een bijna zekerheid.