Wat nu telt is wat ze over je artikel zeggen

PubPeer, de website waarop wetenschappelijke artikelen (anoniem) bekritiseerd worden, is een groot succes. De oprichters hebben zich net bekend gemaakt. „Er komt een nieuwe maat voor kwaliteit.”

Brandon Stell (links) en Boris Bardour foto arnaud meyer

Na drie jaar van geheimzinnigheid hebben Brandon Stell en de broers Richard en George Smith zich vorige week bekendgemaakt als de oprichters van PubPeer. Op dit online webforum kunnen mensen kritiek uiten op gepubliceerde wetenschappelijke artikelen, en als ze willen kan dat anoniem.

Het succes van de site is snel gegroeid sinds de oprichting in 2012. Via PubPeer zijn diverse gevallen van wetenschapsfraude aan het licht gebracht, die wereldwijd aandacht trokken. Carrières zijn geknakt. Maar er is ook kritiek op de website. Het feit dat mensen anoniem kunnen reageren, zou aanzetten tot modder gooien, en het vereffenen van persoonlijke rekeningen. Om deze reden is vorig jaar een rechtszaak tegen PubPeer aangespannen (zie inzet).

Nu begint een nieuwe fase. PubPeer heeft zich omgedoopt tot een stichting zonder winstoogmerk. „Dat vereist een directie, met leden waarvan de namen bekend zijn”, licht Stell toe in een restaurantje in Parijs. De Amerikaan werkt als neurofysioloog aan de Université Paris Descartes. Hij is de drijvende kracht achter PubPeer. Naast hem zit Boris Barbour, een van de nieuwe directieleden. Ook Barbour is hersenwetenschapper, net als Stell in Parijs, maar dan aan de École Normale Superieure. Stell en Barbour kennen elkaar al jaren.

Waarom wilde u tot nu anoniem blijven?

Stell: „Ik ben voorzichtig. Denk je maar eens in dat er op PubPeer kritiek komt op een wetenschapper die ook subsidies verdeelt, of die mee bepaalt wie die nieuwe hoogleraarspost krijgt. Ik kan me voorstellen dat er vergeldingen richting mij zouden kunnen volgen. Ik wist ook niet hoe de website zich zou ontwikkelen. Dat wilde ik eerst een tijd aanzien.”

Het is goed uitgepakt. PubPeer krijgt veel lof. De site heeft een enorme impact gehad op de manier waarop wetenschap zichzelf corrigeert, schreef stamcelonderzoeker Paul Knoepfler vorige week op zijn blog. Vroeger bekritiseerden onderzoekers elkaars werk op conferenties. Maar de wetenschappelijke productie is zo omvangrijk geworden. Elk jaar verschijnen er meer dan een miljoen publicaties, en dat aantal groeit. Wie controleert dat allemaal? De wetenschappers die door tijdschriftredacteuren gevraagd worden een artikel vóór publicatie te beoordelen – de peer reviewers, per artikel zijn dat er meestal twee, drie of vier – staan onder toenemende druk dat snel te doen. Dat werkt fouten in de hand. Bovendien zijn uitgevers vooral geïnteresseerd in positieve resultaten. Negatieve bevindingen trekken weinig aandacht en citaties. Dus scoren ze amper op de citatielijsten, op basis waarvan de impact van tijdschriften wordt samengesteld. En uitgevers willen graag tijdschriften met een hoge impactfactor. Voor wetenschappers is dat net zo van belang, want publiceren in een tijdschrift met hoge impact, vergroot de kans op onderzoeksubsidie en een succesvolle carrière. „De naam van een tijdschrift is de munteenheid geworden van wetenschap. Niet de inhoud van een artikel”, zegt Bardour. „Dat vinden wij niet kloppen.”

Was dat de aanleiding om PubPeer op te richten?

Stell: „Ook. En we misten iets. We zitten in van die clubjes waar we gepubliceerde artikelen bespreken. Op bijna elk artikel is wel iets van kritiek, maar antwoord krijg je niet. Omdat de auteurs er nooit bij zijn.

„Ik had het daar met Boris vaak over. Zou het niet geweldig zijn, zei ik, om al die kritiek open te stellen voor andere wetenschappers, en voor het brede publiek. En dat er ook snel op gereageerd kan worden door de auteurs.”

Barbour: „In het begin had ik geen idee dat Brandon achter PubPeer zat. Maar hij praatte er zo vaak over. Op een gegeven moment vroeg ik hem of hij er iets mee te maken had.”

Stell, met fonkelende ogen: „De oprichters hebben me gevraagd hun anonimiteit te respecteren, antwoordde ik dan. Maar na een paar maanden had je het wel door.”

Barbour: „Eerder een paar weken.”

Is er veel fraude?

Barbour: „Meer dan mensen zich realiseren.”

Uit onderzoek blijkt dat in circa 1 tot 2 procent van alle gepubliceerde artikelen sprake is van fraude, met plaatjes, met data.

Barbour: „Ik heb geen idee hoe je zoiets enigszins nauwkeurig kunt vaststellen als de controle zo slecht is.”

Met welke kwesties heeft PubPeer de meeste aandacht getrokken?

Barbour: „Het artikel waarbij het internetverkeer voor het eerst piekte, was dat van Shoukrat Mitalopov, over stamcellen. Dat was in Cell verschenen. En daarna het werk van Haruko Obokata, in Nature. Ook dat ging over stamcellen.”

Stell, tegen Barbour: „Misschien moeten we voorzichtig zijn individuele namen te noemen...”

Zien jullie bij fraude bepaalde nationaliteiten vaker dan andere?

Barbour wil iets zeggen, maar Stell grijpt in. „Ook daar kunnen we beter niks over zeggen.”

En qua vakgebied?

Barbour: „Kankeronderzoek trekt het meeste commentaar.”

Veel kritiek gaat over artikelen in Cell en Nature, vooraanstaande tijdschriften.

Stell: „Dat is ons punt. De titel van een tijdschrift staat niet automatisch garant voor kwaliteit.”

Hoe vaak leiden discussies op PubPeer ertoe dat auteurs een correctie moeten schrijven, of hun artikel zelfs moeten terugtrekken?

Stell: „We hebben geen systeem om dat na te gaan. Wat we zien is toch vooral dat de betreffende auteurs en ook tijdschriften weinig van zich laten horen. De auteur stellen we altijd op de hoogte, als er commentaar op een artikel is. Toch is de geijkte reactie nog steeds: kop in het zand.”

Maar heeft PubPeer dan wel de zuiverende werking die u beoogt?

Barbour: „De mensen die via onze site van discussies in hun discipline op de hoogte zijn, weten wel welke artikelen ze in het vervolg moeten mijden, en niet meer citeren. De wetenschap vindt er een weg omheen.”

Stell: „Door PubPeer is de druk op auteurs en tijdschriften groter geworden om netjes te werken. Verder denk ik dat die passiviteit van bekritiseerde auteurs irrelevant wordt. Er komt een nieuwe maat voor kwaliteit, en dat is wat mensen over artikelen zeggen. Wij zien een wereld voor ons waarin tijdschriften onbelangrijk zijn geworden. Er is alleen een digitaal archief, zoals nu arXiv, en er is PubPeer. Meer heb je niet nodig. Wetenschappers krijgen weer de controle over de inhoud, niet de uitgevers. Die hebben nu een monopolie, en de bron daarvan zijn de tijdschriften.”

Wat vindt u van de kritiek op het anoniem commentaar leveren?

Barbour zucht. „Die vraag krijgen we iedere keer weer.”

Stell: „Er zijn twee manieren om bij ons commentaar te leveren. Onder naam. Dan maak je een account aan en daarvoor heb je een e-mailadres nodig en een publicatie, waarbij je eerste of laatste auteur bent. Andere optie is anoniem. Vooral voor jonge wetenschappers is dit belangrijk, want hun prille carrière is kwetsbaar. We screenen alle inkomende commentaren. Dat kost me ongeveer een uur per dag, ’s avonds laat. Als mensen kritiek leveren moet dat gefundeerd, met publiek toegankelijke bronnen. Dat maakt het moeilijk om zomaar met modder te gooien.”

Waarom is van PubPeer nu een stichting gemaakt?

Stell: „Als een uitgever PubPeer zou willen opkopen, kan ik het moeilijk naar mijn gezin verantwoorden om zo’n zak geld af te wijzen. Nu we een organisatie zonder winstoogmerkzijn, sluiten we die route uit.”

Barbour: „En we kunnen in Amerika makkelijker geld ophalen bij filantropische instellingen.”

Stell: „Met dat geld willen we een aantal technische dingen aan de site verbeteren. Dat we zelf plaatjes kunnen hosten bijvoorbeeld – nu gaat dat via de site van Imgur. We willen ook de anonimiteit van commentatoren verbeteren. Er moet zo weinig mogelijk informatie over hen zijn.”

Barbour: „Zodat er niks openbaar te maken valt, zelfs geen IP-adres, ook al draagt de rechter ons op de identiteit van iemand bekend te maken.”