Zoekmachine stelt teleur als trendwatcher

Welke film of auto gaat het maken? Zoekmachines als Google of Yahoo geven een indicatie. Maar die voorspellingen leggen het af tegen oude methoden.

Voorspellingen op basis van zoekgedrag van internetgebruikers zijn vaak minder accuraat dan prognoses die met het boerenverstand te bedenken zijn. Dat hebben onderzoekers van het internetbedrijf Yahoo aangetoond.

Met behulp van Yahoo-zoekdata slaagden Sharad Goel en zijn collega’s er aardig in om de recettes te voorspellen van bioscoopfilms, muziekalbums en videogames die werden uitgebracht in 2008 en 2009. Maar, zo erkennen zij zelf, dat lukte niet goed genoeg.

De studie is deze week gepubliceerd op de website van het wetenschappelijk tijdschrift Proceedings of the National Academy of Sciences. Al dagen of zelfs weken voordat een film, game of muziekalbum uitkomt, wordt er op internet flink naar gespeurd. Er is een duidelijk verband tussen de intensiteit van dit internetgezoek en het uiteindelijke succes van deze producten.

Toch toont de studie vooral de beperkingen aan van voorspellingen op basis van zoekgedrag op internet. Goel en zijn collega’s vergeleken hun op zoekgedrag gebaseerde voorspellingen met prognoses op basis van conventionele indicatoren, zoals positieve recensies of het productiebudget van een film. Zoiets was nooit eerder gedaan. De uitkomst: de ouderwetse voorspelmethoden werkten iets beter dan de zoekmachineprognoses.

Het bleek wel mogelijk om de foutmarge van traditionele ramingen te verkleinen door ze met zoekwoordtellingen te combineren. Goel: „In sommige situaties kan een minimale verbetering van de precisie van voorspellingen al heel waardevol zijn. Dat geldt bijvoorbeeld bij financiële analyses. Ik kan geen voorbeelden geven van bedrijven die zoekgegevens gebruiken voor financiële voorspellingen, maar het idee hangt zeker in de lucht.”

Arnoud Boot, hoogleraar financiële markten aan de Universiteit van Amsterdam, reageert sceptisch. „Als je zoektermen telt, dan meet je de hype en het kuddegedrag”, zegt hij. „Van indices die dergelijke zaken meten is bekend dat ze de neiging hebben om door te schieten. Je kunt ze gebruiken om trends te voorspellen en dan heb je het in 90 procent van de gevallen bij het juiste eind. Het probleem is dat je de zogeheten turning points niet kunt voorspellen. En juist op die momenten, bij het omslaan van de trend, zijn de risico’s het grootst.”

Volgens Goel kunnen plotselinge veranderingen in zoekvolumes misschien toch helpen bij het voorspellen van omslagpunten in economische tijdreeksen (de door Boot genoemde turning points). In de praktijk is dit nog niet aangetoond.

Verschillende studies hebben in de afgelopen jaren aangetoond dat het mogelijk is om trends door analyse van zoektermgebruik op de voet te volgen, zij het niet te voorspellen. Google Flu Trends traceert uitbraken van influenza op basis van zoekgedrag van grieppatiënten – zij het minder accuraat dan de Amerikaanse Centra voor Ziektebestrijding en Preventie (CDC’s). Google-econoom Hal Varian toonde al in april 2009 aan dat de frequentie van zoektermen als ‘banen’, ‘bijstand’ en ‘werkloosheid’ een goede maat is voor werkloosheidscijfers die statistische bureaus publiceren in Duitsland, de VS en Israël.

Google publiceert sinds medio vorig jaar in Nederland een barometer die economische trends signaleert. Maar financieel specialist Boot wijst erop dat voor buitenstaanders niet is na te gaan hoe de Google Barometer is samengesteld.

Boot: „Ik wil wel aannemen dat dit soort indices dicht op economische trends zitten, maar dat is eigenlijk niets nieuws. Het doet mij denken aan een anekdote over Amerikaanse vrouwen die auto’s op parkeerplaatsen telden om vroegtijdig te voorspellen hoe de economie zich ontwikkelt. De indicatoren van Google zijn niet veel anders.”