Iedereen in de metaverse? De virtuele wereld voelt nog niet als thuis

Virtual reality Volgens Mark Zuckerberg brengen we straks een groot deel van onze tijd door in de metaverse. Een digitale omgeving waar alles kan wat in de echte wereld ook kan – maar dan vanuit huis. Komt het zover?

Een schermende Mark Zuckerberg in zijn promotiefilm over de metaverse.
Een schermende Mark Zuckerberg in zijn promotiefilm over de metaverse. Foto Reuters

Je zet een bril op en plots ben je bij een concert. Of met vrienden in de bioscoop, bij een vergadering op je werk of shoppen in Parijs, allemaal vanaf je eigen bank. Dit moet mogelijk worden in de ‘metaverse’, een virtuele wereld waar je niet alleen naar kijkt, maar ook in kan zitten. Met een video van dit concept trok Mark Zuckerberg eind vorige week veel aandacht.

Hij is niet de enige. Gamebedrijven als Epic Games steken miljarden in dit idee. Zij zijn met grote multiplayerspellen als Fortnite misschien al een stap verder. Ook Microsoft wil met Mesh de echte en de virtuele wereld combineren. Het techbedrijf kondigde deze week de eerste concrete stap aan in die richting. Vanaf volgend jaar moet het mogelijk zijn om als een virtuele avatar in een vergadering aanwezig te zijn. Later moeten deze avatars ook in 3D in de ruimte kunnen komen.

Virtual reality (VR) en augmented reality (AR) spelen een grote rol in de ideeën die techgiganten hebben voor het laten versmelten van de echte en virtuele wereld. VR plaatst de gebruiker in een volledig andere omgeving. AR legt een virtuele laag over de echte wereld heen, zoals in de smartphonegame Pokémon Go.

Lees ook: De metaverse, wat is dat?

De meeste ervaring met VR is opgebouwd in afgebakende omgevingen: games en labs. Nederlandse academici experimenteerden bijvoorbeeld met een virtueel vliegtuig als behandeling voor vliegangst. En ze keken of tussen planeten zweven helpt om te leren hoe ons zonnestelsel eruit ziet. Een metaverse zou een experiment omvatten groter dan dat allemaal bij elkaar.

Hoe groot is het gat tussen huidige mogelijkheden van VR en het metaverse waar de techgiganten van dromen?

Er moet nog veel gebeuren aan de hardware

Zerrin Yumak universitair docent

Nederlandse experts van VR zien twee obstakels. De eerste is het comfort van de technologie. De tweede is de menselijke maat: sociale interacties in de virtuele wereld verlopen vaak stroef.

„Er moet nog veel gebeuren aan de hardware”, zegt Zerrin Yumak, universitair docent in Utrecht. Apparaten voor consumenten worden steeds simpeler en lichter, „maar de kwaliteit is dan niet zo hoog en dan kun je niet het volledige meeslepende gevoel ervaren.” Er zijn ook brillen die grafisch veel betere kwaliteit leveren, zoals de headsets die Yumak in het lab gebruikt, „maar dan moet je wel een rugzak om.”

Lees een reportage uit het lab in Utrecht: Een zombie kan leren om je aan te kijken

Langdurig gebruik van VR-brillen kan leiden tot vermoeidheid. Dat uit zich in problemen met scherpstellen, hoofdpijn en misselijkheid. Ook dat is een hardware-uitdaging. De diepte-illusie in huidige VR-brillen ontstaat doordat beide ogen net ander beeld te zien krijgen. Dat is bij ‘normaal’ kijken ook het geval, maar in VR wordt hiermee gespeeld, waardoor de ogen meer naar binnen moeten staan als een voorwerp virtueel dichtbij is en relatief recht naar voren als een voorwerp virtueel ver weg is.

De ogen en hersenen maken hier één beeld van, met diepte. Maar dat vereist een onnatuurlijke werking van de ogen, omdat de fysieke afstand tot het beeldscherm voor elk virtueel voorwerp waarop je scherp wilt stellen constant is. De oogspier gedraagt zich alsof je een boek leest, terwijl je lens zich instelt op tv-kijken. Daardoor ontvang je twee tegengestelde dieptesignalen. Hoe snel dat voor klachten zorgt hangt erg af van welke bril je gebruikt en wat je bekijkt.

Hardwerkende ogen

Facebook werkt aan een technische oplossing. In 2020 presenteerde het bedrijf een pilotbril die met oogtracering volgt naar welk object op het scherm je precies kijkt. Een verstelbare varifocale lens zorgt vervolgens dat precies dat object scherp gesteld wordt, door de afstand tot het scherm kunstmatig te veranderen. Zo hoeven je ogen minder hard te werken om diepte te zien.

Ook kan VR zorgen voor een vorm van reisziekte: cybersickness. „Dat ontstaat doordat je fysiek in je eigen kamer zit, maar ondertussen in een virtuele 3D-wereld beweegt”, zegt Elmar Eisemann, hoogleraar informatica aan de TU Delft. „Daardoor is er een verschil tussen wat je voelt en wat je ziet. Door die tegenstrijdige ervaring kan je misselijk worden.” Ook trekt zo’n mismatch je uit de ervaring. „Het is voor de hersenen dan vermoeiend om in de virtuele wereld te blijven.” zegt Yumak.

Eisemann noemt een prototype dat dit in de toekomst kan verhelpen, waaraan onderzoekers van MIT werken. „Dat maakt gebruik van elektrische pulsen die naar het evenwichtsorgaan in je oor gestuurd worden terwijl je in VR beweegt. Dan krijg je ook fysiek het gevoel dat je diezelfde richting op beweegt.” Zo vóél je het ook als je virtueel met een raceauato door de bocht gaat.

Digitale kopie

Een andere mogelijkheid om cybersickness te voorkomen is door het gezichtsveld te beperken. Een kleiner virtueel gezichtsveld verlaagt het gevoel van misselijkheid. Daarnaast kan het blurren van het gebied waar de gebruiker niet naar kijkt helpen om een meer natuurlijke en dus minder ziekmakende ervaring te creëren. Hier zou ook oogtracering voor nodig zijn.

Dan het tweede struikelblok: menselijke interactie. Als je je vrienden, familie en collega’s vaak in een metaverse treft, moet hun mimiek overeenkomen met hoe ze zich in werkelijkheid gedragen. Met kunstmatige intelligentie kan een behoorlijk realistische digitale kopie van een persoon worden gemaakt, liet de universiteit van Californië zien. Deze beweegt en praat zoals jij.

Maar gezichtsuitdrukkingen zijn lastig over te nemen van persoon tot avatar. Neem lipsynchronisatie, waar Yumak onderzoek naar doet. „Het zijn heel precieze bewegingen en je kan die details niet makkelijk weergeven.” Zo blijven de lippen soms een tijdje op elkaar om van de ene naar de andere klank te gaan. Ook valt het direct op als iets niet klopt: „Een klein verschil heeft veel effect.” Yumak duwt met één vinger tegen haar wang – een ander voorbeeld van een fysiologische eigenschap van de mens die lastig te vatten is in algoritmes. Hoe vervormt je wang als je praat?

Synchrone lipbewegingen

Alle details van een gezichtsuitdrukking moeten worden samengevoegd en gelijklopen met de data waarop ze gebaseerd zijn. Lipbewegingen en de bewegingen in je wangen moeten synchroon lopen met de audio of video. „In animatiefilms gebeurt dat al, met een leger van animatoren, maar in een metaverse zou dit in real time moeten gebeuren”, zegt Yumak. Dat kost enorm veel computerkracht.

Lees over ondernemers die aan de metaverse werken: Het nieuwe internet laat je rondvliegen op je bedrijfsborrel

In een simpele virtuele omgeving met een sociale setting, roept VR nu al emoties op. Uit een studie waarin mensen in VR kunnen oefenen met presenteren, blijkt „dat we op een heel sociale manier op VR reageren”, zegt Wijnand IJsselsteijn, hoogleraar mens-techniek-interactie in Eindhoven. Het virtuele publiek zit geïnteresseerd te kijken en knikken of hangt juist verveeld achterover en kijkt negatief. Ondanks dat de mensen in het publiek er niet heel echt uit zien, „werkt het als een tierelier”, zegt IJsselsteijn. „Als mensen voor het verveelde publiek staan gaan ze hakkelen, zweten en worden ze rood. Ons brein is heel gevoelig voor sociale reacties en reageert daar heel primair op.”

Een vergelijkbare lichamelijke reactie vindt plaats als mensen in VR over het randje van een afgrond lopen. „Mensen weten echt wel: ik heb een VR-helm op en er zal niet echt een gat in die vloer zitten. Maar tegelijkertijd vertellen hun ogen en alles in hun lijf dat het wel echt is.”

Nu vindt zo’n „heftige psychologische reactie” plaats binnen de veilige muren van een lab. IJsselsteijn: „Dat gaat in een metaverse wel veranderen.” Ook zal „echt en nep door elkaar gaan lopen”, voorspelt hij. Daarom moet er meer onderzoek gedaan worden naar bijvoorbeeld de effecten van VR op kinderen, vindt hij. „Juist zij willen straks de metaverse in.”