Wat staat er op die foto? Facebook weet het steeds beter

Kunstmatige intelligentie Wij zien in een oogopslag wat er op een foto staat, maar beschrijven is bewerkelijk. Software kan dat steeds beter.

Facebook indexeert nu al foto’s op Instagram – doorgaans onzichtbaar. Maar de indexering is te zien met een plugin die op github.com staat. Hierboven een geïndexeerde foto van de openbare account van Barack Obama. Beeld Facebook

Software van Facebook kan nu beter ‘zien’ wat er op foto’s staat dan die van de concurrentie. De herkenning gebeurt op basis van de korte karakteriseringen (hashtags) die mensen zelf maken als ze hun foto’s op Instagram zetten.

Het techbedrijf maakte vorige week op zijn eigen congres F8 bekend dat de software 85,4 procent van de beelden in een trainingsset goed beschrijft. Het vorige record was 83,1 procent, dat eerder dit jaar werd behaald door een onderzoeksgroep van Google. Facebookonderzoekers hebben het artikel gepubliceerd op preprintserver arXiv.

Beeldherkenningssoftware gebruikt ‘machine learning’, een vorm van kunstmatige intelligentie. Daarbij wordt doorgaans gebruikgemaakt van grote hoeveelheden foto’s die door mensen zijn gelabeld om de algoritmes te trainen, bijvoorbeeld: op deze foto staat een kat, en op deze foto staat geen kat. Op basis van heel veel voorbeelden leert het algoritme, door analyse van de pixelpatronen op de foto’s, om op nieuwe foto’s katten te herkennen.

Throwback thursday

Dit nieuwe algoritme van Facebook werd echter niet getraind met gelabelde foto’s, maar met foto’s en hun bijbehorende hastags van dochterbedrijf Instagram. Hashtags kunnen relevante infomatie geven over een afbeelding, maar lang niet altijd. Bij een foto van een kat kan de hashtag #cat staan, maar er zijn ook hashtags die geen informatie over de afbeelding geven, zoals #tbt. Dat staat voor ‘throwback thursday’ en wordt gebruikt voor nostalgische foto’s.

„Door hashtags slim te selecteren kon het effect van deze ‘ruis’ voldoende gereduceerd worden”, schrijft Laurens van der Maaten, een Nederlandse machinelearning-wetenschapper bij Facebook die betrokken was bij het onderzoek, in een e-mail.

Lees ook de serie De Formule: hoe algoritmes het dagelijks leven beïnvloeden

Daarnaast was de schaal van het onderzoek van belang. Van der Maaten: „Eerdere systemen trainden op enkele tientallen miljoenen afbeeldingen. Wij hebben ons systeem uiteindelijk getraind op 3,5 miljard afbeeldingen. Deze schaalgrootte was essentieel: onze resultaten suggereren dat het punt waarop training [op basis van hashtags, red.] daadwerkelijk het systeem verbetert rond de 500 miljoen afbeeldingen ligt.”

Geïndexeerde foto’s van de openbare account van Barack Obama.

Beeld Facebook

Beter dan de mens

Max Welling, hoogleraar machine learning aan de Universiteit van Amsterdam, is onder de indruk van het onderzoek. „Hoewel hashtags ruis bevatten, toont dit onderzoek dat je er toch hele waardevolle informatie kunt uithalen.” Belangrijk is volgens Welling verder dat de aanpak schaalbaar is. „Het kost veel tijd en geld om data door mensen te laten labelen. En er is een grens aan hoeveel data mensen aankunnen. Met deze aanpak omzeil je dat probleem. Als er over drie jaar niet 3,5 miljard maar 50 miljard foto’s beschikbaar zijn, kun je deze methode nog steeds gebruiken. En het mooie is: de technologie wordt steeds beter en accurater – op termijn ook beter dan de mens.”

Welling wijst erop dat alleen grote techbedrijven als Facebook en Google dit soort onderzoek kunnen doen. „Alleen zij beschikken over dergelijke hoeveelheden gegevens, en hebben toegang tot de rekenkracht die voor dit soort onderzoek nodig is.”

Voorwaarde is wel dat mensen hun foto’s toegankelijk op internet blijven zetten. Facebook gebruikt alleen foto’s van publieke Instagram-accounts voor onderzoeksdoeleinden; met foto’s op besloten privé-accounts gebeurt dat niet.

Lees ook een eerder interview met Max Welling: ‘Europa moet zorgen voor de morele balans’
    • Eva de Valk