Op zoek naar een koe

Hoe vind je in een database de plaatjes die je zoekt? Wiskundige en beeldend kunstenaar Ben Schouten ontwikkelde een zoeksysteem dat uitgaat van visuele gelijkenis.

WIE OP HET internet een plaatje zoekt van een koe en zoekmachines als altavista of google te hulp roept, moet rekening houden met onzinnige treffers. Intikken van het zoekwoord `koe' levert van alles op, van café de Bontekoe tot Deense sekssites. ``Allemaal erg frustrerend'', zegt Ben Schouten van het Centrum voor Wiskunde en Informatica (CWI) te Amsterdam. ``Je vindt de gekste dingen: seks, drank en en er zal ook vast rock & roll tussen zitten. `Je begrijpt me niet', zou je in wanhoop tegen je computer willen zeggen. `Dit is absoluut niet wat ik bedoel.' In een digitale wereld waarin de hoeveelheid beschikbare informatie exponentieel groeit, zou je toch gerichter willen zoeken dan mogelijk is aan de hand van keywords.''

Gisteren promoveerde Schouten aan de Universiteit van Amsterdam op een visueel systeem dat afbeeldingen in een database zoekt op basis van de gelijkenis met andere afbeeldingen. De toepassingsmogelijkheden zijn legio. Stel je zoekt een stropdas in een digitale modezaak. In het systeem van Schouten krijg je als eerste op goed geluk van de computer wat plaatjes aangeboden, waarna je aangeeft wat je ervan vindt. Vervolgens hergroepeert de database zich, om na een aantal van zulke acties een optimaal resultaat aan te reiken. Waarna je al dan niet een bestelling plaatst.

ICONOGRAFIE

Schouten, oprichter van het internetbedrijf Desk.nl, is van huis uit beeldend kunstenaar. Hij studeerde in 1983 af aan de Rietveld Academie, maakte jarenlang schilderijen en hoopt eind dit jaar de draad weer op te pakken met een tentoonstelling van nieuw werk in de Amsterdamse Galerie Maria Chailloux. ``Op een gegeven moment ging verf me te langzaam'', zegt hij in zijn werkkamer op het CWI. ``Ik was geïnteresseerd in iconografie, in de patronen van de islamitische kunst, en verdiepte me in getalsysyemen. Zo herontdekte ik mijn liefde voor de wiskunde. In 1995 ben ik afgestudeerd. Mike Keane, mijn promotor op het CWI, vond de combinatie van kunstenaar én wiskundige zo interessant dat hij me aanbood onderzoek te doen op het gebied van Image Processing. De nadruk lag toen nog op compressie, pixels voorzien van een semantische betekenis was nieuw. De noodzaak daartoe dringt zich op zodra je je afvraagt of het zin heeft de achtergrond van een afbeelding méér te comprimeren dan de voorgrond, en helemaal als je voorwerpen in het beeld wilt herkennen.''

Het probleem bij het zoeken naar beelden aan de hand van trefwoorden is dat de gebruiker deze, uitgaande van het plaatje in zijn hoofd, bedenkt terwijl los van hem de `beheerder' van de database dat ook doet. Beide vertaalslagen hoeven niet te matchen. Schouten: ``Neem je broek en probeer die te beschrijven. Of een Picasso. Dat valt niet mee. Gelukkig zegt een plaatje meer dan duizend woorden. Je vindt in ons systeem in een database een koe nadat je ter vergelijking een koe hebt aangeklikt.''

Dat vooraf tonen van een referentieplaatje kan op allerlei manieren gebeuren. Schouten: ``Slachtoffers van misdrijven kunnen het systeem een tekening van de dader aanbieden. Of je kunt de klant op zijn beeldscherm eigenhandig een startplaatje bij elkaar laten `plakken en knippen'. Op het MIT in Boston is een toepassing gemaakt waarbij je, op zoek naar de ideale partner, uit een verzameling archetypische gezichten er eentje aanklikt, waarna het systeem uit de database alle gelijkende gezichten voor je opdiept. Voor de toekomst kun je denken aan digitale televisie, waarbij je in een index aanklikt welke thema`s je als journaalkijker interesseren. Zo'n systeem kan scènes onderscheiden en weet inhouden te labelen aan de hand van herkenningstechnieken. Alles automatisch.''

Systemen voor Content Based Image Retrieval hebben drie basiscomponenten. Om te beginnen moeten uit het beeld kenmerken geweekt worden, bijvoorbeeld kleur of textuur. Verder is er een maat nodig om de hoeveelheid gelijkenis tussen plaatjes te kunnen vaststellen. En ook moet er een interface zijn die visuele informatie bijeenbrengt en de gebruiker voorschotelt. In zijn proefschrift `Giving Eyes to ICT! or How does a Computer Recognize a Cow?' beperkt Schouten zich tot het eerste en derde aspect. Binnen het CWI past het onderzoek in het Europese samenwerkingsverband `Found-it' en het nationale onderzoeksprogramma MIA (Multimediale Informatie & Analyse). Opvallend aan Schoutens proefschrift is dat het uitgegeven is in de vorm van een cd-rom. En om het samengaan van kunst en wetenschap te benadrukken werd Rick van der Ploeg, staatssecretaris van cultuur en eerder hoogleraar economie aan de UvA, gevraagd deel uit te maken van de promotiecommissie (waarin ook iemand van de zoekmachine google zitting had).

Wie eenmaal een koe gezien heeft, herkent ze probleemloos, al valt over de `koeigheid' van sommige voorstellingen – Picasso's Tête de taureau uit 1942 is opgebouwd uit een fietszadel en -stuur – te twisten. Dat komt doordat de menselijke waarneming werkt met gelijkenissen. Het ligt dus voor de hand ook de wiskunde achter visuele zoeksystemen op dit principe te baseren. Bekend was al dat beelden effectief zijn te comprimeren (ontdoen van redundantie) met behulp van `fractals', zelfgelijkende meetkundige figuren die ontstaan door herhaalde transformatie (iteratie) van een eenvoudig basispatroon.

DROSTE-EFFECT

Ook bij beeldcodering werpen deze structuren hun vruchten af. Op elk niveau van detaillering lijkt een fractal op zichzelf: het Droste-effect. Met fractals zijn eenvoudig bedrieglijk echte natuurvoorstellingen te maken. Fractale beeldcodering gaat ervan uit dat het omgekeerde ook geldt: een beeld effectief opslaan in de vorm van de basispatronen van een klein aantal fractals, samen met het voorschrift hoe het oorspronkelijke beeld daaruit te reconstrueren. In het bijzonder heeft Schouten zich geconcentreerd op de eigenschap `textuur'. Het gaat dan om zaken als `richting' (in een stadsgezicht domineren verticale lijnen, bij een wolkenpartij ligt dat totaal anders), `schaal' (een schaakbord is anders dan een grindbak) en contrast.

Binnen de onderzoeksgroep van Eric Pauwels van de Katholieke Universiteit van Leuven heeft Schouten een interactieve interface ontwikkeld die met zijn systeem aan de slag kan: Pariss (panoramic, adaptive and reconfigurable interface for similarity search). De database aan beelden, bijvoorbeeld verschillende gordijnpatronen, wordt op het scherm gepresenteerd als een verzameling aanklikbare punten. Dicht bij elkaar gelegen punten representeren op elkaar gelijkende beelden. In een visueel vraag- en antwoordspel geeft de gebruiker steeds met voorbeelden uit de database aan wat zijn voorkeur is. Dat kan door met punten te schuiven, of door punten weg te klikken en nieuwe op te roepen. Na elke stap vindt een hergroepering van de datawolk plaats. Aldus ontstaat een virtuele winkelstraat waarin de gebruiker al doende wegwijs raakt, waarna hij met een klik de meest aantrekkelijke collectie oproept om zijn definieve keuze te maken.

Als vervolg op zijn promotie-onderzoek wil Schouten samen met het CWI en de Universiteit van Amsterdam een bedrijf oprichten dat zich richt op (visuele) informatieontsluiting. Schouten: ``Daarbij zullen grote spelers als VNU en andere uitgeversmaatschappijen betrokken zijn. Ook Google en Twinning zijn geïnteresseerd.''