Software rekent foto terug uit schets

De computer kan een zwart-witportret nu omzetten in een realistisch kleurenportret.

Van foto naar schets en weer terug. De computer levert nu een natuurgetrouwe reconstructie op basis van een schets. Links basisfoto, midden schets, en rechts de door software gereconstrueerde foto. Illustratie arxiv.org

Onderzoekers van het Donders Instituut voor Brein, Cognitie en Gedrag in Nijmegen hebben voor het eerst een computer geleerd om schetsen van gezichten om te toveren tot fotorealistische afbeeldingen. Dat kan tot interessante toepassingen leiden voor kunsthistorici en forensisch onderzoekers.

De compositietekeningen die forensisch tekenaars van verdachten maken bevatten – vaak noodgedwongen – veel minder informatie dan de werkelijke gezichten. Daarom zou het interessant kunnen zijn om uit zulke schetsen gemakkelijk realistische portretfoto’s te reconstrueren. Ook historische figuren kennen we vaak alleen van tekeningen. De fotografie werd pas in de 19e eeuw uitgevonden. Ons beeld van Rembrandt en andere oude meesters is gebaseerd op hun zelfportretten. In die zelfportretten gaat vaak informatie verloren: bijvoorbeeld details van huid, oren, mond en haar. Bij zwart-witschetsen valt ook nog eens de kleur weg.

Voor neurowetenschapper Marcel van Gerven was dat een interessante uitdaging, samen met promovendus Yaǧgmur Güçlütürk en twee andere collega’s. „Ons vak is om de computer te leren om de wereld in te vullen, zoals het menselijk brein ook doet”, vertelt Van Gerven. „Het menselijk brein doet voortdurend voorspellingen over de buitenwereld. Hierbij vult het vaak visuele informatie in die het niet ziet. Wie bijvoorbeeld maar de helft van een gezicht ziet, gaat de andere helft aanvullen op basis van de vele gezichten die ons brein al heeft gezien.”

Computers leren op een manier die vergelijkbaar is met de werking van het menselijk brein. Een netwerk van kunstmatige neuronen (een ‘diep neuraal netwerk’) wordt in lagen verdeeld. Elke laag neemt een deel van de patroonherkenning voor zijn rekening. De bovenste lagen herkennen bijvoorbeeld de lijnoriëntatie of de textuur, terwijl diepere lagen delen van voorwerpen herkennen. De diepste laag, ten slotte, herkent volledige voorwerpen. In het visuele deel van de hersenen bestaat een vergelijkbare indeling.

Van Gerven en zijn collega’s trainden een diep neuraal netwerk van zeventien lagen op een dataverzameling van meer dan tweehonderdduizend portretfoto’s en bijbehorende schetsen, gemaakt met een fotobewerkingsprogramma. Die bewerking is eenvoudig, want er hoeft alleen maar beeldinformatie weggegooid te worden. Van Gerven: „Die schetsen varieerden in stijl; zwart-wit, kleur, ruw, of juist gedetailleerd. De computer kreeg de opdracht uit de schetsen weer portretfoto’s te reconstrueren. Zou de computer de informatie die verloren is gegaan in de schetsen, realistisch weten aan te vullen?”

De resultaten bleken indrukwekkend. Vaak kwamen zelfs de haarkleur en de huidskleur overeen, ook wanneer de schets in zwart-wit was. Ten slotte lieten de onderzoekers de computer fotorealistische afbeeldingen reconstrueren uit zwart-wit-zelfportretten van Rembrandt, Van Gogh en Escher. Ook die kwamen kwalitatief goed overeen met gekleurde zelfportretten van Rembrandt en Van Gogh, en in het geval van Escher met een zwart-witfoto van de graficus.

De Nijmeegse wetenschappers publiceerden hun resultaten deze maand op arXiv.org, een onlineverzameling voorpublicaties van wetenschappelijke artikelen die nog niet door collega’s zijn gecontroleerd. Van Gerven heeft inmiddels het spin-offbedrijf Neurant opgericht om commerciële toepassingen te ontwikkelen in de schilderkunst en in forensisch onderzoek en voor het opschonen van beelden die vol ruis zitten.

    • Bennie Mols