Computer geeft model vele uitdossingen en poses op basis van één foto

Kunstmatige intelligentie Op basis van één foto kan een computer een persoon afbeelden in een andere lichaamshouding of met andere kleding.

Voorbeeld van waar het algoritme toe in staat is: vier echte foto’s met in het klein een beoogde pose. Daaronder door de computer gegenereerde afbeeldingen.
Voorbeeld van waar het algoritme toe in staat is: vier echte foto’s met in het klein een beoogde pose. Daaronder door de computer gegenereerde afbeeldingen. Foto Badour AlBahar, Jingwan Lu, Jimei Yang, Zhixin Shu, Eli Shechtman, Jia-Bin Huang

Klik – en klaar. Op basis van één foto is het mogelijk om met kunstmatige intelligentie een afbeelding van de gefotografeerde persoon te maken in een ándere dan de geposeerde houding. De software kan het fotomodel ook in een outfit naar keuze uitdossen. Dat demonstreerden onderzoekers van het techbedrijf Adobe samen met een Amerikaanse en een Koeweitse universiteit onlangs in het tijdschrift ACM Transactions on Graphics.

Als een persoon van de voorkant op de foto staat, vult het computerprogramma zelf in hoe iemand er van de achterkant en zijkant uit zou kunnen zien. Hierdoor kan het een persoon in andere houdingen afbeelden. Het maakt bijvoorbeeld van een frontale foto van een gespierde man met zijn armen losjes langs zijn lichaam, een afbeelding van dezelfde man van de zijkant met zijn armen over elkaar. Tot nu toe waren heel veel afbeeldingen van één persoon nodig om iemand in een andere pose weer te geven. Of zag het fotomodel op de gegenereerde afbeeldingen eruit als een ander persoon. Ook klopten details niet, zoals vouwen in wijd zittende kleding.

Herkenbaarheid van personen

Nieuw aan de studie is de mate van „herkenbaarheid van personen en de details in de kleding”, zegt Sezer Karaoglu, computer vision-onderzoeker aan de Universiteit van Amsterdam (UvA) en medeoprichter van 3DUniversum, een spin-off van de UvA. Hij was niet bij het onderzoek betrokken. „Daarvoor gebruiken de onderzoekers bestaande algoritmen waarop ze voortbouwen. De nieuwigheid zit in hoe ze deze combineren.”

De onderzoekers beginnen met het maken van een ‘3D-mapping’ van de inputfoto. Voor elk punt op het lichaam proberen ze te voorspellen hoe het er in 3D uitziet. Je kan het vergelijken met een wereldkaart. Weergaven op papier zijn plat, maar in het echt is de wereld rond. Als je voor elk punt op het lichaam weet hoe het er in 3D uitziet, dan weet je hoe je elk punt moet draaien voor een andere lichaamspositie.

Foto’s van personen met klein omkaderd het beoogde kledingstuk. Daaronder afbeeldingen die de computer heeft gemaakt van dezelfde personen met de nieuwe kleding. Foto Badour AlBahar, Jingwan Lu, Jimei Yang, Zhixin Shu, Eli Shechtman, Jia-Bin Huang

De missende informatie vullen de onderzoekers in met een beroep op symmetrie: ze doen de aanname dat de textuur van een arm – of een kledingstuk – aan de voorkant hetzelfde is aan de achterkant. Op basis van dit 3D model maken de onderzoekers een eerste voorspelling van hoe iemand er in een nieuwe houding uitziet.

Die grove voorspelling van het uiterlijk in de gekozen houding vormt vervolgens de input voor een ‘generatief antagonistennetwerk’ (GAN). Dit is een wisselwerking tussen twee neurale netwerken die op basis van heel veel foto’s zelf nieuwe fotorealistische afbeeldingen van mensen kunnen samenstellen. Het GAN zoekt naar voorbeelden die het meest op de grove voorspelling lijken en stelt zo een fotorealistische afbeelding samen met de kenmerken van de persoon in de oorspronkelijke afbeelding.

Duidelijk een reconstructie

Duidelijk is wel dat het hier om een reconstructie en geen echte foto gaat. De handen zijn soms wazig en details van wijde kleding – zoals een rok – kloppen niet altijd. Daarnaast bestaat de dataset die de onderzoekers gebruikten voor het trainen van het GAN vooral uit blanke, dunne mensen. Daardoor is het algoritme een stuk slechter in het maken van afbeeldingen van mensen met een andere lichaamsbouw of andere etnische achtergronden.

Deze beperkingen zijn te verhelpen denkt Karaoglu. „Er zijn honderden vergelijkbare methodes voorgesteld voor het veranderen van de houding van een persoon op basis van een foto. Deze technieken focussen allemaal op verschillende aspecten zoals de echtheid van het gezicht, lichaam, belichting, kleur en identiteit.” Daar zitten ook oplossingen tussen voor de tekortkomingen van de methode in deze studie, „maar dan lever je bijvoorbeeld in op de textuur.”

Karaoglu ziet veelbelovende toepassingen in de mode-industrie. „Nu moeten modeketens elk seizoen voor elk kledingstuk nieuwe foto’s maken. Dat kost veel geld. En dan heb ik het nog niet eens over de gebruikerservaring. Want het liefst zou je een foto van jezelf sturen en dat je dan direct ziet hoe dit jou zou staan.”