Rood ruiken

Oren verdraaien wat je ziet, zien versterkt wat je ruikt. Met hulp van illusies ontrafelen onderzoekers hoe het brein alles aan elkaar smeedt tot de grootste illusie die er is: een overzichtelijke werkelijkheid.

`Hoeveel lichtflitsen zie je?' De omstanders weten al dat onderzoeker dr. Ladan Shams maar één lichtflits op haar laptop laat zien. Toch zien ze er twee. Twee piepjes die tijdens de enkele flits klinken, laten de visuele hersenen denken dat er ook twee flitsen waren. De toeschouwers wéten hoe het zit, maar blijven twee flitsen waarnemen.

Shams en zijn onderzoeksleider, prof.dr. Shinsuke Shimojo van het California Institute of Technology, publiceerden dit vreemde effect een jaar geleden in Nature. Ze concluderen dat geluid effect heeft op de visuele hersenen, het gebied dat alleen informatie uit de ogen zou verwerken. ``De term visuele cortex is wellicht een beetje misleidend; hij is vooral gevoelig voor licht, maar ook voor geluid'', zei Shimojo onlangs op een congres van de Society for Neuroscience in San Diego.

Op dat congres kwam Shimojo terug op zijn experiment. Na dat opmerkelijke resultaat, zo vertelde hij, vroegen hij en zijn collega's zich af wanneer de illusie ontstaat. In een late fase van de informatieverwerking, als gegevens worden samengevoegd? Misschien nog later, op het cognitieve niveau? Of wordt het zien juist op een vroeg moment beïnvloed door geluid?

Hersengolven, afgetapt door elektrodes op de hoofden van proefpersonen, zouden volgens Shimojo op een vroeg en snel effect wijzen. ``Als we echt een tweede flits laten zien, dan veranderen de golven in de visuele schors een tiende seconde later. Geven we echter een tweede piepje in plaats van een tweede flits, dan ontstaan dezelfde veranderingen in de golfpatronen'', zei Shimojo. Het tweede geluid had effect op de visuele schors, vier van de vijf keer nam de proefpersoon een dubbele flits waar. ``De gemeten hersenactiviteit weerspiegelt dus niet zozeer de werkelijke gebeurtenis, maar onze waarneming.''

``Er is de laatste tijd veel opwinding over interacties tussen verschillende zintuigsystemen'', vatte prof.dr. Vilayanur Ramachandran van de Universiteit van Californië in San Diego deze grote ommezwaai in het zintuigonderzoek samen. Ramachandran zelf onderzoekt het onderwerp vanuit de synesthesie, het verschijnsel dat voor sommige mensen letters en cijfers of zelfs geluiden kleuren hebben, zoals er ook synestheten zijn die een vorm voelen als ze iets proeven. ``Tot een jaar of vijf, tien geleden werd ieder zintuigsysteem apart onderzocht. Nu realiseert men zich dat je ook moet begrijpen hoe al die informatie weer samenkomt.''

wijnkenners

Dr. Gemma Calvert van de Universiteit van Oxford in Groot-Brittannië: ``De multisensorische aanpak past veel beter bij de aard van de hersenen. Als we eten, dan hangt ons beleven en genieten niet alleen af van de smaak, maar ook van de kleur, of het geurt en of het knapperig is. Ons brein vermengt al deze verschillende sensaties naadloos tot een totale, samenhangende waarneming.''

Onze hersenen zijn hier zo bedreven in, dat we niet merken hoe onze zintuigen op elkaar inwerken. We zijn zelfs geschokt als we merken dat ze ons voor de gek houden, en wel zo gemakkelijk. Calvert: ``Neem wijnkenners die wijngaard en jaar kunnen noemen door de neus van een wijn. Maar je kunt ze een dure Chablis voor een goedkope rosé laten aanzien door er simpelweg wat geurloze rode kleurstof doorheen te roeren.'' Het tijdschrift Brain and Language publiceerde in november een onderzoek dat op dit effect van kleur op reuk ingaat. Net als bij de dubbele-flitsillusie vragen neurowetenschappers zich daarin af wat het achterliggende mechanisme is. Wat doen de hersenen dat ze ons zo in de maling kunnen nemen?

Om dit te onderzoeken maakten Gemma Calvert, Robert Österbauer en collega's gebruik van het fenomeen dat een geur sterker lijkt als er een bijpassende kleur bij wordt getoond, en juist minder sterk als de kleur afwijkt dankzij gele kleurstof ruik je de perzik en perzikgeurstof in vruchtenyoghurt beter. Ze lieten proefpersonen, gelegen in een fMRI-hersenscanner, aan geurende potjes ruiken en naar gekleurde schermen kijken, afzonderlijk of in combinaties die al dan niet klopten. De juiste combinaties waren citroen-geel, aardbei-rood, pepermunt-turkoois, caramel-bruin.

``De gebieden die betrokken zijn bij het waarnemen van de geur en bij het waarderen van die geur een netwerk vooraan in de hersenen werden sterk gemoduleerd als de mensen tegelijkertijd een kleur zagen'', aldus Calvert. ``Als de proefpersonen een geur en kleur bij elkaar vonden passen, zoals aardbei en rood, werden die gebieden actiever. Paste de kleur niet, dan werden deze gebieden juist stiller.'' In andere experimenten liet ze zien dat als je een spreker hoort én ziet, de gehoorschors actiever is dan wanneer je hem alleen hoort.

De indeling in zien, horen, proeven, ruiken, voelen en evenwicht, kortom, is niet zo overzichtelijk als altijd verondersteld wordt. Dat is verrassend, maar eigenlijk ook logisch als je kijkt naar belangrijke functies van de hersenen. Dat is niet het ontrafelen van onze omgeving in toeters, stoplichten, broodgeur, sesamsmaak en de druk van asfalt tegen de voetzolen, maar veeleer het omgekeerde. De glazige bollen om mee te zien en de onelegante uitsteeksels om te ruiken, horen en proeven zijn hulpstukken waarmee het brein informatie verzamelt om er een eenvoudig, begrijpelijk beeld van de omgeving mee te creëren. Zodat we in één oogopslag weten of er gevaar dreigt, of dat er kansen liggen voor voeding of voortplanting. Om adequaat op de omgeving te kunnen reageren je tanden in een appel zetten, een stadsbus ontwijken, een aantrekkelijke soortgenoot benaderen is ondubbelzinnigheid onontbeerlijk. Je moet er niet over na hoeven denken dat het groengeel, de frisse geur en de koude, stevige substantie bij elkaar horen en een appel vormen, terwijl het rood, de massieve omvang, de snelle beweging en het getoeter gezamenlijk de stadsbus zijn.

Ook als het directe levensgevaar geweken is, komt het eenvoudige plaatje van pas. ``Het brein kan die interpretatie gebruiken als een symbool waarop het plannen voor langere termijn kan bouwen. Per slot van rekening lijkt dat het belangrijkste nut van bewustzijn te zijn: het vermogen om eerdere ervaringen te gebruiken om creatieve plannen voor de toekomst te maken'', zegt dr. David Eagleman, theoretisch neurowetenschapper aan The Salk Institute in San Diego. ``Maar besef wel dat het combineren van signalen van verschillende zintuigmodaliteiten een enorme taak is voor het brein. Je voert het systeem vele datastromen en dwingt het om uit te komen op een enkele, consequente interpretatie van wat er gaande is'', aldus Eagleman.

Uit proeven als die met de dubbele-flitsillusie, blijkt nu dat er zelfs in de gebieden waar zintuiginformatie het eerst binnenkomt en apart verwerkt wordt, al beïnvloeding plaatsvindt door prikkelingen uit andere zintuigen. Dit is heel vroeg in de informatiestroom, zo vroeg dat de verschillende signalen niet eens meer uit elkaar te houden zijn, en beoordelen of er nu een of twee flitsen zijn is onmogelijk. Het is een heel robuuste samenvoeging.

Ook is er maar dit gaat waarschijnlijk trager feedback uit de `hogere' hersendelen, mogelijk helemaal terug tot de gebieden waar de zintuiginformatie binnenkomt; de visuele cortex, de gehoorcortex enzovoort. Daarnaast zijn er speciale cellen voor integratie. Deze cellen in de hersenschors en in de dieper gelegen, evolutionair oudere gebieden, reageren bijvoorbeeld bescheiden op geluid maar ook op licht. Zodra geluid en licht enigszins bij elkaar passen, bijvoorbeeld omdat ze op ongeveer hetzelfde moment of uit ongeveer dezelfde richting komen, worden deze cellen ineens superactief, veel actiever dan de som van geluid en licht apart. Liggen de bron van het geluid en van het licht echt te ver uit elkaar, dan onderdrukt dat juist de activiteit in deze cellen. Gemma Calvert: ``Er gebeurt iets bij het samenvoegen. Er ontstaat een nieuwe waarneming en dat is ook wat je ervaart.''

Hoe deze verschillende mechanismen van feedback, integratiecellen en onderlinge beïnvloeding van zintuigen precies samenwerken, zal een volgende vraag zijn voor onderzoekers. Wel is duidelijk dat het samenvoegen en samenhang creëren zo voortvarend gebeurt dat er soms een samenhang ontstaat die er in werkelijkheid helemaal niet is. Zoals dus in het geval van de dubbele-flitsillusie.

geen doorgeefluik

``Illusies zijn doorgaans stimuli die ons systeem net niet kan verwerken, waar het tijdens zijn evolutionaire ontwikkeling net niet op is toegerust'', zegt Eagleman. ``Ze leggen soms de complexe structuur van het zintuigsysteem bloot, net zoals ze het overkoepelend principe blootleggen: dat de hersenen op één interpretatie willen uitkomen.'' De hersenen zijn geen doorgeefluik maar bewerken, verdraaien, schrappen, vullen hiaten of verzinnen er rustig wat bij, zolang het de duidelijkheid maar ten goede komt. Wat wij waarnemen is niet `de werkelijkheid' wat dat ook moge zijn maar dat wat onze hersenen ervan maken. De grens tussen werkelijkheid en illusie is vaag.

Eagleman: ``Een voorbeeld hiervan is wat technici ontdekten toen de televisie nog maar net bestond. De audio- en videosignalen kunnen wel tachtig milliseconde uit de pas lopen, en niemand merkt er wat van. In andere woorden, het brein synchroniseert out of synch signalen. Hoewel illusies per definitie niet overeenstemmen met de werkelijkheid, leveren ze soms iets dat beter is dan de werkelijkheid.''

De overdreven integratie kan gênant zijn voor wijnproevers, en onwennig als iets een illusie blijkt, maar doorgaans is het reuze handig. Een van de voordelen is dat het je sneller maakt, zoals een medewerker van Calvert, dr. Donna Lloyd op het congres liet zien. De reactietijd op een trilling onder de voet wordt kleiner als je tegelijkertijd bij die voet een LEDje ziet branden, en andersom. Andere studies laten zien dat je geuren en smaken die net te zwak zijn om te ruiken of proeven, wel waarneemt als je ze tegelijkertijd ruikt en proeft. Ook dat heeft een duidelijk nut. We zouden gek worden als we ons van iedere minieme prikkeling bewust worden; soms zijn signalen domweg afkomstig uit spontaan actieve zintuigen en hersencellen. Komen dezelfde kleine prikkels echter via verschillende kanalen binnen, dan is er kennelijk echt iets, en is bewustwording zinvol.

Misschien wel het grootste voordeel is dat je door integratie de sterke kanten van ieder zintuig kan benutten. Ogen kunnen bijvoorbeeld erg goed richting bepalen. De hersenen kunnen doorgaans gerust op de ogen vertrouwen om de bron van een geluid of een geur te localiseren, en concluderen dat het geluid of de geur daarvandaan komt. Dit effect is heel sterk: denken we in de bioscoop niet allemaal dat die mannenstem uit Russell Crowes bewegende mond komt, terwijl de boxen opzij en achter in de zaal hangen? Eagleman: ``Het is net als bij een buikspreekpop. De hersenen worden op het verkeerde been gezet door de veronderstelling en ervaring dat stemmen doorgaans van bewegende lippen komen.''

Ogen worden daarom wel het dominante zintuig genoemd, maar uit de dubbele-flitsillusie blijkt dat niet altijd klopt. Het ligt er maar aan waar het om gaat. Gaat het om snelheid, dan zijn de oren superieur, en om die reden dominant. Twee gebeurtenissen kunnen zó kort na elkaar optreden, dat de ogen ze niet van elkaar kunnen onderscheiden, maar de oren wel. Het auditieve systeem helpt in zo'n geval het visuele systeem om de twee signalen te zien. Shimojo: ``Geluid kan het temporeel onderscheidend vermogen van de ogen verbeteren. Met de hulp van geluid kan zicht voorbij zijn eigen grenzen gaan.''

Taak

Dr. Alvaro Pascual-Leone en Roy Hamilton van de Harvard Medical School in Boston, gaven vorig jaar in de wetenschappelijke uitgave Progress of Brain Research een nog veel radicaler visie weer: dat het hele idee van zie-, hoor-, ruik- en tastgebieden overboord kan. Misschien, denken ze, zijn de hersenen niet georganiseerd naar zintuig, maar naar taak. Wat we gehoorcortex noemen, is misschien het hersengebied voor timing. De visuele schors is volgens dat idee een gebied dat ruimtelijke informatie verwerkt. Normaal gesproken zijn de ogen het handigst om te bepalen wat waar staat en in welke richting iets beweegt, en baseert de `visuele' of `ruimtelijk inzicht' schors zich bijna geheel op visuele prikkels. Maar als de ogen niet volstaan, of niet worden gebruikt, krijgen de zintuigen van de tweede keus oren en tastzin de ruimte.

De onderzoekers hebben inderdaad zo'n effect laten zien bij mensen die hun ogen gedurende vijf dagen lieten afplakken en braille leerden. Binnen vijf dagen verwerkte de visuele schors inderdaad informatie uit gehoor- en tastzin. Ze gebruikten dat hersendeel om braille te lezen. Dit is ook zo bij mensen die blind geboren zijn. Bij doofgeborenen daarentegen helpt de gehoorschors bij het zien.

Dat de zintuigelijke hersengebieden in aanleg multifuntioneel zijn, is duidelijk geworden door onderzoek aan fretten, door prof.dr. Mriganka Sur en zijn medewerkers aan de Massachusetts Institute of Technology aan de Amerikaanse oostkust. Fretten worden heel vroeg tijdens hun ontwikkeling geboren, en daardoor zijn de hersenen van pasgeboren fretjes nog nauwelijks uitgedifferentieerd en nog zeer flexibel. Van die kleine fretjes nauwelijks een halve vinger groot liet Sur de informatie van het netvlies op de gehoorschors uitkomen. Op het congres keek hij terug op die proeven: ``Eenmaal opgegroeid gedragen die fretjes zich normaal. Maar de gehoorschors ontwikkelt allerlei kenmerken van de visuele schors die daar normaal gesproken niet voorkomen, zoals gevoeligheid voor vormen. Het bleek dat ze ook gedragsmatig activiteit in de auditieve schors, afkomstig van licht, als licht behandelden. Ze konden zien met hun auditieve schors.''

``De zintuigen zijn veel flexibeler en interactiever dan we dachten'', aldus Shimojo. ``Dat betekent dat er meer ruimte is voor hulpmiddelen en therapie voor kinderen die blind of doof zijn, vooral in de vroege jeugd als de flexibiliteit het grootst is.'' Over zijn eigen onderzoek, hij werkt immers aan de praktisch ingestelde Caltech: ``Als geluid de visuele temporele resolutie verhoogt, kan dat worden benut in computerbeelden, in mens-machine interfaces, in virtual reality, in multimediaspelletjes. Zelfs sommig onderwijs kan effectiever als we de multisensorische mogelijkheden slim gebruiken.''

Ook Calvert uit Oxford kijkt naar toepassingen. Een deel van haar onderzoek wordt gefinancierd door het bedrijfsleven. ``De kleur-geur resultaten suggereren een fysiologische basis voor een alledaagse ervaring. Of het nu gaat om wijn, aardbeien of ketchup, als de kleur past bij onze verwachting en bij de geur en smaak, dan genieten we er meer van. Ook de verpakking maakt verschil. Bij het ontwerpen van nieuwe producten kun je met dit type hersenmetingen zien wat het effect is van verschillende combinaties van uiterlijk, smaak en geur. Aan de hand van directe hersenreacties kun je de optimale combinatie kiezen. Nu moeten ontwikkelaars hun toevlucht nemen tot focusgroepen en wat die verzinnen.''

``Een van mijn promovendi heeft laten zien dat je ook weefsels zachter kunt laten aanvoelen door simpelweg de kleur te veranderen. De economische implicaties zijn duidelijk. Vaak is het technisch onmogelijk om een nieuw, zachter of beter smakend product te maken. Maar soms kun je hetzelfde effect bereiken en heb je dus gelukkige consumenten als je de verpakking of de kleur een beetje aanpast.''

De dubbele-flitsillusie is te zien op:mag.bidmc.harvard.edu/soundInduced

IllusoryFlash2