de quizzende computer Watson

IBM heeft een reputatie als kampioenendoder. Tientallen onderzoekers hebben supercomputer Watson geprepareerd om nu ook de beste spelers van de tv-kennisquiz Jeopardy! te verslaan. Bennie Mols

Computerbedrijf IBM gaat opnieuw proberen een wereldkampioen te verslaan. IBM’s nieuwe supercomputer Watson speelt over twee weken mee in Jeopardy!, de moeilijkste en beroemdste Amerikaanse tv-quiz aller tijden. De tegenstanders zijn de Amerikaanse topspelers Ken Jennings en Brad Rutter. Zij zijn de ‘wereldkampioenen’. Jennings won in het seizoen 2004-2005 74 maal achter elkaar – een record – en verdiende daarmee 2,52 miljoen dollar. Brad Rutter is de best verdienende speler ooit, met een prijzenbedrag van ruim 3,2 miljoen dollar.

IBM heeft een traditie als kampioenendoder. Het bedrijf zet daar de nieuwste computers voor in, die door researchteams worden geprogrammeerd en van informatie worden voorzien om uitmuntende mensen op hun specialisme te verslaan.

Veertien jaar geleden, in 1979, versloeg Watsons voorganger Deep Blue de toenmalige wereldkampioen schaken Garry Kasparov in een match over zes partijen met 3½ -2½. Een mijlpaal in de intellectuele strijd tussen computer en mens. Kasparov kon de nederlaag maar moeilijk verkroppen. “Ik heb op mijn emoties verloren van een niet-emotionele tegenstander”, zei hij zes jaar later in de documentaire Game Over.

Een tv-quiz winnen lijkt een minder edel doel dan complete beheersing van het schaakspel,maar het winnen van een quiz is voor een computer veel moeilijker. IBM ziet bovendien veel meer praktische toepassingen.

Jeopardy! heeft niet zomaar vragen van het type ‘wat is de langste rivier ter wereld?’ Jeopardy!-vragen zijn in feite antwoorden, waarop de quizdeelnemer moet reageren met het stellen van een vraag. De quizpresentator zegt bijvoorbeeld: “Nadat Duitsland Nederland was binnengevallen, vluchtten deze koningin, haar familie en haar regering naar Londen.” Of: “Neem in Polen kalafior als je houdt van deze broccolivariant.”

WAT IS BLOEMKOOL?

Voor een goed ‘antwoord’ moeten Jeopardy!-kandidaten op de eerste ‘vraag’ reageren met “Wie is Wilhelmina?”. En op de tweede met: “Wat is bloemkool?” (Het Poolse woord kalafior betekent bloemkool.)

Nederland kende deze quiz in de jaren negentig onder de naam Waagstuk! – destijds uitgezonden door SBS6 en gepresenteerd door Albert Verlinde. Elke vraag kan geld opleveren of evenveel geld kosten; sommige vragen leveren meer op dan andere. De kandidaten moeten zo snel mogelijk op een knop drukken. Bij een goed antwoord verdient de kandidaat het geldbedrag; bij een fout antwoord gaat hetzelfde bedrag van zijn totale verdiensten af. De beste menselijke spelers drukken bij ongeveer de helft van de vragen op de knop en van hun antwoorden is zo’n 85 procent correct. Dat moet de computer zien te evenaren.

Tot enkele jaren geleden leek dat onmogelijk. De computer staat namelijk voor vier grote problemen. Allereerst kunnen de vragen bij Jeopardy! over van alles gaan – van geschiedenis tot popmuziek, van wetenschap tot sport, en het aantal mogelijke vragen is eindeloos. De benodigde kennis en combinatiemogelijkheden zijn dus niet begrensd zoals bij het schaakspel, waarin een eindig aantal (al is het een groot aantal) verschillende spelen bestaat. Op dat terrein kon een computer nog ideaal gebruikmaken van zijn rekensnelheid, precisie en onvermoeibaarheid.

De tweede grote uitdaging voor Watson – die trouwens niet is vernoemd naar het hulpje van Sherlock Holmes, maar naar IBM-oprichter Thomas J. Watson – ligt in het begrijpen van gecompliceerde, natuurlijke taal. Een computer is goed in het volgen van exacte regels. Maar bij taal liggen de regels niet precies vast, hebben woorden vaak meer betekenissen, hangt de betekenis van de context af en is een zin vaak onnauwkeurig geformuleerd. In de zin ‘Hoe lang is de Rijn?’ gaat ‘lang’ over een lengte, maar in de zin ‘Hoe lang duurt het concert?’ slaat ‘lang’ over tijdsduur. Het begrijpen van de bedoeling achter de vraag zal voor Watson het moeilijkst zijn.

CHECKERS

“Hoe ambiguer de Jeopardy!-vraag, hoe meer kans de mens heeft en hoe eenduidiger de vraag, hoe beter de computer het zal doen”, verwacht de Canadese informaticus Jonathan Schaeffer. Schaeffer ontwikkelde als eerste een computerprogramma dat – in 1994 – een wereldkampioen versloeg in een serieus bordspel: checkers – een variant van dammen op een 8-bij-8-bord in plaats van een 10-bij-10.

De derde grote uitdaging voor de computer is dat hij moet inschatten hoe betrouwbaar een antwoord is. Een fout antwoord kost immers geld.

Als vierde en laatste grote uitdaging moet Watson het antwoord ook nog binnen een handvol seconden geven.

In 2007 besloot IBM al deze uitdagingen aan te gaan en Jeopardy! als nieuw ijkpunt te nemen voor de kunstmatige intelligentie, zoals schaken dat ook decennialang is geweest. “Een briljante zet”, vindt Schaeffer, “want wie maalt er, behalve schaakliefhebbers, om een superieure schaakcomputer? Iedereen ziet onmiddellijk het praktische belang van een computer die vragen kan beantwoorden.”

IBM begon met een man of vijftien, onder leiding van David Ferrucci, een specialist in kunstmatige intelligentie. De eerste Jeopardy!-resultaten van de supercomputer stelden teleur. Begin 2007 gaf de computer zo’n 15 procent correcte antwoorden, veel minder dan de 85 procent van de beste menselijke spelers.

Ferrucci breidde het aantal medewerkers geleidelijk uit tot meer dan vijftig in 2009. Bovendien ging het bedrijf samenwerken met wetenschappers van Carnegie Mellon University en University of Massachusetts Amherst. Aparte teams specialiseerden zich in het ontrafelen van de betekenis van de vraag, het zoeken naar het antwoord, het optimaliseren van de computerhardware en zelfs op de spraaksoftware die Watson gebruikt om het antwoord correct uit te spreken.

In april 2010 speelde Watson voor het eerst goed genoeg om te concurreren met Jeopardy!-winnaars. Wel bleef hij nog steeds achter bij topspeler Ken Jennings. In het laatste kwartaal van 2010 kwalificeerde Watson zich officieel voor Jeopardy! en speelde hij vijftig testwedstrijden tegen de betere menselijke spelers. Afgelopen december achtte IBM Watson in staat om ook de twee beste menselijke spelers serieus partij te bieden. Samen met de Jeopardy!-organisatoren kondigden ze een nieuwe grensverleggende match tussen mens en computer aan. Van 14 tot en met 16 februari bindt Watson de strijd aan met Jeopardy!-kampioenen Jennings en Rutter.

HET GEHEIM

Supercomputer Watson beslaat ongeveer acht koelkasten van het Amerikaanse kingsizeformaat. Hij is niet verbonden met het internet. Alle kennis die hij nodig heeft om de quizvragen te beantwoorden moet uit zijn eigen geheugen komen. Sinds 2007 is Watson daarom gevoed met tientallen miljoenen documenten, variërend van encyclopedieën, woordenboeken en thesauri tot romans, toneelstukken en teksten van websites. Het geheim van Watson ligt niet in deze enorme hoeveelheid gegevens, maar in de manier waarop hij in zijn geheugen naar antwoorden zoekt.

Laten we als voorbeeld de volgende Jeopardy!-vraag nemen: ‘In mei 1898 vierde Portugal de vierhonderdste verjaardag van de aankomst van deze ontdekkingsreiziger in India.’ Als goede antwoord zou de computer ‘Wie is Vasco da Gama?’ moeten geven. Maar hoe vindt hij het antwoord in al die tientallen miljoenen documenten die hij in zijn geheugen heeft?

Grofweg kunnen we drie stappen onderscheiden, volgens Johan Bos, hoogleraar computationale semantiek bij de afdeling informatiekunde aan de Rijksuniversiteit Groningen. “De eerste stap is een diepe taalkundige analyse van de vraag. De tweede stap is het zoeken naar een antwoord op elke mogelijke interpretatie van de vraag. De derde en laatste stap is de controlestap.”

PORTUGAL

In de eerste stap wordt de vraag eerst grammaticaal ontleed in zelfstandige naamwoorden, werkwoorden, bezittelijk voornaamwoorden, plaatsnamen, tijdsaanduidingen enzovoort. Daarna wordt gekeken hoe deze bij elkaar horen. In de voorbeeldzin is ‘Portugal’ het onderwerp bij het gezegde ‘vierde’ en hoort ‘aankomst’ bij ‘deze ontdekkingsreiziger’. Een goede grammaticale analyse is essentieel, omdat de zinnen in de documenten in Watsons geheugen, waarin het antwoord staat, er anders uit kunnen zien. Zo kan bijvoorbeeld de zin ‘Op 27 mei 1498 landde Vasco da Gama op Kappad Beach’ ergens in het tekstgeheugen staan. Wanneer de computer uit de voorbeeldvraag niet zou halen dat ‘ontdekkingsreiziger’ bij ‘aankomst’ hoort, dan zal hij ook niet kunnen achterhalen dat ‘landde Vasco da Gama’ op dezelfde gebeurtenis slaat.

Na de grammaticale analyse volgt de betekenisanalyse. Elke mogelijke interpretatie van de vraag wordt in een logische formule uitgedrukt die onderlinge samenhang van de woorden vastlegt. Van de vraag ‘In mei 1898 vierde Portugal....’ wordt bijvoorbeeld in de formule vastgelegd dat ‘Portugal’ het onderwerp is bij het gezegde ‘vierde’. Als in een geheugendocument van Watson de zinsnede staat: ‘....werd door Portugal gevierd...’ dan levert dat dezelfde formule (‘Portugal’ onderwerp en ‘vierde’ gezegde), zodat die zin eruit wordt gepikt.

In de volgende stap gebruikt Watson op statistiek gebaseerde zoekmachines à la Google, die niks van betekenis begrijpen maar wel razendsnel zoeken op identieke woorden. De bedoeling is om alle plaatsen te vinden waar mogelijk het antwoord staat. Bos: “Je hoopt dat in de enorme hoeveelheid documenten het antwoord talloze malen voorkomt.” Als het niet lukt om op de ene plaats waar de benodigde woorden voorkomen het antwoord te vinden, dan switcht Watson naar de volgende plaats. Bos: “Wellicht lukt het daar wel.”

BETROUWBAARHEID

Net zoals de vraag in een logische formule wordt voorgesteld, zo zijn alle teksten in het geheugen van Watson ook op betekenis geanalyseerd en vertaald in logische formules. Zo kan Watson al weten dat Vasco da Gama een ontdekkingsreiziger is en dat Kappad Beach in India ligt.

Volgens IBM-projectleider David Ferrucci vindt Watson doorgaans honderden mogelijke antwoorden op één enkele interpretatie van een vraag. Alle antwoorden worden gerangschikt naar betrouwbaarheid, uitgedrukt als een getal tussen 0 en 100. Hoe vaker hetzelfde antwoord opduikt, hoe hoger de betrouwbaarheid van het antwoord. Ook de betrouwbaarheid van de bron weegt mee. De Encyclopedia Britannica geldt als betrouwbaarder dan een willekeurige webtekst. IBM kan aangeven welke betrouwbaarheid een antwoord minimaal moet hebben voordat Watson op de zoemer drukt ten teken dat hij de Jeopardy!-vraag wil beantwoorden.

Tijdens de derde en laatste stap gaat de computer met mogelijke antwoorden opnieuw zoeken in zijn geheugen om de betrouwbaarheid van een antwoord te vergroten. In het voorbeeld zoekt de computer of de zin “In mei 1898 vierde Portugal de vierhonderdste verjaardag van de aankomst van Vasco da Gama in India” inderdaad wel genoeg betrouwbare treffers oplevert.

Volgens projectleider David Ferrucci kost het beantwoorden van een enkele vraag op een standaard desktopcomputer met een processorsnelheid van 2,6 gigahertz twee uur rekenen. Door het zoekproces efficiënt te verdelen over drieduizend van zulke processors, brengt de supercomputer de rekentijd terug tot tussen de twee en zes seconden.

De schaakmatch tussen Kasparov en Deep Blue leverde IBM weliswaar veel publiciteit op, maar nauwelijks commerciële toepassingen. Dat moet anders worden met het Watson-project. Het bedrijf denkt binnen een paar jaar een groot aantal commerciële vraag-antwoordsystemen te ontwikkelen voor overheden, bedrijven, gezondheidsinstellingen en helpdesks. “Voor IBM staat er veel op het spel”, zegt Johan Bos. “Ze hebben er al heel veel geld in gepompt. Het is hun kracht dat ze veel mankracht kunnen inzetten op alle onderdelen, ook op de hele saaie.”

MEDISCHE DIAGNOSE

IBM hoopt dat Watson straks bijvoorbeeld een arts kan helpen bij het stellen van een medische diagnose. Laat de supercomputer zoeken door een lijst met symptomen van een patiënt, zijn persoonlijke en familiegeschiedenis, medische handboeken en wetenschappelijke artikelen, en hij kan mogelijke diagnoses naar betrouwbaarheid rangschikken, precies zoals hij antwoorden op Jeopardy!-vragen rangschikt.

Steeds meer informatie zal de komende decennia gedigitaliseerd worden. Daarmee groeit het belang om snel een antwoord te vinden op specifieke kennisvragen. Als Watson Jeopardy! weet te winnen, of ten minste goed partij weet te bieden, dan gaat Google er een grote concurrent bij krijgen. Eentje die antwoorden geeft in plaats van je op te schepen met een lange lijst van documenten waarin je het antwoord zelf moet zoeken.