Software zet schetsjes om in prima foto’s

Als diep-neuraal-netwerksoftware hard studeert op foto's en schetsen, kan het ook zelf een schetsje omzetten in een foto

Illustratie uit Convolutional Sketch Inversion / arxiv.org

Onderzoekers van het Donders Instituut voor Brein, Cognitie en Gedrag in Nijmegen hebben voor het eerst een computer geleerd om schetsen van gezichten om te toveren tot fotorealistische afbeeldingen. Dat kan tot interessante toepassingen leiden voor kunsthistorici en forensisch onderzoekers.

De compositietekeningen die forensisch tekenaars van verdachten maken bevatten – vaak noodgedwongen – veel minder informatie dan de werkelijke gezichten. Daarom zou het interessant kunnen zijn om uit zulke schetsen gemakkelijk realistische portretfoto te reconstrueren. Ook historische figuren kennen we vaak alleen van tekeningen. De fotografie werd pas in de 19e eeuw uitgevonden. Bij zwart-wit-schetsen valt ook nog eens de kleur weg.

Voor neurowetenschapper Marcel van Gerven was dat een interessante uitdaging, samen met promovendus Yaǧmur Güçlütürk en twee andere collega’s. „Ons vak is om de computer te leren om de wereld in te vullen, zoals het menselijk brein ook doet”, vertelt van Gerven. “Het menselijk brein doet voortdurend voorspellingen over de buitenwereld. Hierbij vult het vaak visuele informatie in die het niet ziet. Wie bijvoorbeeld maar de helft van een gezicht ziet, gaat de andere helft aanvullen op basis van de vele gezichten die ons brein al heeft gezien.”

De laatste jaren zijn computers steeds beter geworden in het leren op basis van grote verzamelingen voorbeelden. Zo kunnen ze bijvoorbeeld leren om foto’s te omschrijven met steekwoorden. Dat leren doen computers op een manier die vergelijkbaar is aan de werking van het menselijk brein. Een netwerk van kunstmatige neuronen (een Diep Neuraal Netwerk) wordt in lagen verdeeld. Elke laag neemt een deel van de patroonherkenning voor zijn rekening. De bovenste lagen herkennen bijvoorbeeld de lijnoriëntatie of de textuur, terwijl diepere lagen delen van voorwerpen herkennen. De diepste laag, ten slotte, herkent volledige voorwerpen. In het visuele deel van de hersenen bestaat een vergelijkbare indeling.

Van Gerven en zijn collega’s trainden een Diep Neuraal Netwerk van zeventien lagen op een dataverzameling van meer dan tweehonderdduizend portretfoto’s en bijbehorende schetsen. De schetsen waren door een computer gemaakt, iets wat ze al goed kunnen, omdat ze alleen maar bestaande informatie hoeven weg te gooien. Van Gerven: „Die schetsen varieerden in stijl. Sommige zijn zwart-wit, andere in kleur. Sommige zijn ruw, andere gedetailleerd. Vervolgens maken we een nieuwe dataverzameling van portretfoto’s en bijbehorende schetsen, die de computer tijdens zijn training niet heeft gezien. Daarna laten we de computer de schetsen zien om er de portretfoto’s weer uit te reconstrueren. De belangrijke vraag is dan of de computer de informatie die verloren is gegaan in de schetsen, realistisch weet aan te vullen.”

Toen de afbeeldingen die de computer zo reconstrueerde werden vergeleken met de echte portretfoto’s, bleken de resultaten indrukwekkend. Vaak kwam zelfs de haarkleur en de huidkleur overeen, ook wanneer de schets in zwart-wit was gemaakt. Ten slotte lieten de onderzoekers de computer fotorealistische afbeeldingen reconstrueren uit zwart-wit-zelfportretten van Rembrandt, Van Gogh en Escher. Ook deze kwamen kwalitatief gezien goed overeen met gekleurde zelfportretten van Rembrandt en Van Gogh, en in het geval van Escher met een zwart-wit-foto van de graficus.

De Nijmeegse wetenschappers publiceerden hun resultaten deze maand op arXiv.org, een online verzameling voorpublicaties van wetenschappelijke artikelen die nog niet door collega’s zijn gecontroleerd. Van Gerven heeft inmiddels het spin-off-bedrijf Neurant opgericht om commerciële toepassingen te ontwikkelen: van toepassingen in de schilderkunst en forensisch onderzoek tot het opschonen van beelden die vol ruis zitten.