Even de muur wegklikken

Kunstenaars werken samen met wetenschappers aan audiovisuele boeken en brillen die een laag toevoegen aan de realiteit.

Dat is te zien in <> TAG in Den Haag.

Max en de maximonsters is een adembenemend prentenboek van Maurice Sendak. In het Engels is het verhaal nog mooier: Where the wild things are. Het verleidt direct, als je tenminste ondeugend bent en verzot op wilde dingen zoals kleine Max. Max, een stout jongetje dat ervan houdt om de hond te treiteren, wordt zonder eten naar bed gestuurd. En dan gebeurt er iets: terwijl hij in zijn kamer is, wijken de muren en groeit er een bos, en trekt Max eropuit om de wild things te temmen. Het lukt hem hun angst in te boezemen door niet met zijn ogen te knipperen.

Wie wil dat niet: een omgeving die oplost zodat je zomaar ergens anders verzeild raakt, waar monsters worden getemd en feest wordt gevierd. Onlangs moest ik aan Max denken, in Den Haag, bij een bezoek aan <> TAG, een platform voor audiovisuele kunst, gerund door jonge mensen met veelal een achtergrond van conservatorium, kunst en/of technologie. Met een helm op liep ik door een kamer waar een bank stond, een kast, een ventilator. In de helm zag ik de kamer die er echt was, maar tegelijkertijd kon ik met een afstandsbediening de muren wegklikken en zelf een landschap kiezen.

Het effect was wonderlijk, het opende een wereld vol mogelijkheden: stel dat de kamer met het internet verbonden zou zijn, dan kon ik mijn vrienden uit andere werelddelen hier in het bos ontmoeten.

Livingroom2, een kunstwerk van Jan Torpus, is een voorbeeld van Augmented Reality (AR). AR betekent niets anders dan het toevoegen van een extra laag aan de werkelijkheid. Daar zijn nu nog brillen voor nodig of andere hulpmiddelen zoals een projectiescherm.

De allereerste keer dat ik met Augmented Reality te maken kreeg is ongeveer tien jaar geleden. Dr. Pieter Jonker van de TU Delft toonde een medische toepassing: door middel van een bril was een botbreuk waarneembaar.

Je kunt ook op het oog informatie projecteren, maar zover is het nog niet. De Universiteit van Washington heeft een contactlens ontworpen met elektronische componenten en een led-matrix. Deze ‘veilige’ lenzen zien er heel hightech uit, en zijn tot nu toe op konijnen getest die er geen schade van ondervonden. Zo krijg je ‘bionische ogen’ (zoals die van de Terminator), die kunnen inzoomen en informatie bovenop het normale gezichtveld weergeven.

AR is relatief nieuw. Een goed voorbeeld van de mogelijkheden geeft het Eye Magic book, een project van de Universiteit van Canterbury (Nieuw-Zeeland). Het is een kinderboek dat tot leven komt als het wordt opengeklapt en te bekijken via een soort binoculair. In het verhaal springt reus Jimmy Jones van de pagina en wandelt hij door een heuvellandschap dat uit het boek is komen opzetten. Jimmy plukt wolken uit de lucht om zichzelf mee toe te dekken. Een stem leidt je door het verhaal en bij elke bladzijde die je omslaat, verschijnen 3D-animaties die worden opgeroepen door markers.

Het nieuwste project van dit centrum heet The Mixed Reality Book en gaat over Nieuw-Zeeland, het is te bekijken met een handheldscherm dat lijkt op een vierkant vergrootglas. Het boek is veel interactiever dan zijn voorganger en niet lineair. Er zijn plattegronden, puzzels en tekeningen, waaraan animaties, video en geluid zijn toegevoegd.

Over de hele wereld wordt met AR geëxperimenteerd, en al staan sommige toepassingen in de kinderschoenen, het is fascinerend om te zien in welke richting deze steeds goedkoper wordende technologie zich ontwikkelt. Los van reclametoepassingen die her en der opduiken, houden in de Nederlandse kunstwereld behalve <>TAG in Den Haag, Mediamatic in Amsterdam en de kunstacademie in Den Haag zich bezig met AR. De academie heeft als enige Europese kunstopleiding een AR-laboratorium, zodat studenten in samenwerking met wetenschappers van de TU Delft kunnen experimenteren. Op de meubelbeurs in Milaan toonden de studenten meubels die je alleen maar kon zien door middel van een bril. Kasten, stoelen en tafels zweven door de in werkelijkheid lege ruimte.

Hicham Khalidi, directeur van <>TAG, is gefascineerd door „het in de ruimte achterlaten van informatie”. Als voorbeeld toont hij het werk Audio-space van Theodore Watson. De bezoeker loopt met een audioset op zijn hoofd door een lege zaal, waarin hij geluid kan achterlaten door wat in de microfoon te spreken of te hummen. Een computer slaat deze data op, inclusief de precieze coördinaten in de ruimte. De volgende bezoeker, die op exact dezelfde plek staat, kan het ‘achtergelaten’ geluid horen. Daardoor verandert het besef van tijd gekoppeld aan locatie. Khalidi koestert de wens om in een stad een gedicht achter te laten of een videoboodschap, gekoppeld aan een locatie. Via een mobiele telefoon of een ander apparaat kun je toegang krijgen tot deze ‘verstopte, onzichtbare’ informatie.

In de openbare ruimte worden er ‘augmented’ experimenten gedaan door kunstenaars en wetenschappers, zoals in Basel, Zwitserland, waar een proefpersoon een laptop in een rugzak, koptelefoon en bril meekreeg. Lopend door de stad kon deze zien hoe het er in de Middeleeuwen uit- zag, als het ware over de gewone werkelijkheid heen. Nieuwbouw veranderde in een oud kasteel, over het geluid van hedendaags verkeer was paardengetrappel hoorbaar. In het park verschenen twee virtuele mannen in middeleeuws kostuum. Volgens het verslag van het experiment raakte de proefpersoon in de war en schreeuwde hij tegen mensen op het terras: „Hee, zijn jullie wel echt?”

Dat er beelden worden toegevoegd aan de werkelijkheid is op zichzelf niet vreemd: de moderne mens draagt voortdurend een extra ‘laag’ bij zich (laptop, telefoon, i-Pod, GPS). In film en fotografie is het verschil tussen werkelijke en gemanipuleerde beelden niet meer zichtbaar. Dat verandert onze perceptie en zal voor ons onderscheidingsvermogen gevolgen hebben. Wat is nog echt en wat niet? Hedendaagse technologieën kantelen onze visie op wat ‘werkelijkheid’ is rigoureus, maar hopelijk kunnen we net als Max de Maximonsters temmen door ze zonder te knipperen in de ogen te kijken.

<> TAG, Den Haag: tag004.nl, HIT-Lab: hitlabnz.org, AR-Lab van Kunstacademie Den Haag: arlab.nl