10 minuten Door Boris Wesseldijk, Nederlands
Interview met dr. Pieter Huistra over replicatie in de geschiedwetenschap: “wellicht hoge noodzaak in deze discipline, maar is dit wel altijd mogelijk?”
Dr. Pieter Huistra is universitair docent aan de Universiteit Utrecht in Theory of History en coördinator van masterstudenten voor Cultural History and Heritage. Bovendien onderzoekt hij een onderwerp dat sommige historici de rillingen over hun rug geeft: replicatie in de geschiedeniswetenschap. De sociale en biomedische wetenschappen maken er al veelvuldig gebruik van, maar in Huistra’s discipline is dit verre van geïnternaliseerd.
Dr. Huistra, goedemorgen. Laten we beginnen met een belangrijke introducerende vraag: wat is replicatie?
“Ten eerste: er bestaat geen algemene consensus over de definities. Conceptuele replicatie is dat dezelfde vraag wordt beantwoord, maar dan met een andere methode en met andere data. In feite komt dit neer op wat we nu het historiografisch debat noemen. Neem de oorzaken van de Franse Revolutie: in plaats van een politiek perspectief kies je een cultureel perspectief. Dan ga je bijvoorbeeld niet de notulen van de Assemblé Nationale lezen, maar naar de kleding van de revolutionairen kijken. Directe replicatie gaat over dezelfde vraag, dezelfde methode, maar andere data. Ofwel, een andere onderzoeker haalt net andere bronnen aan, zoals de brieven van revolutionairen die zij naar elkaar schreven, maar het onderwerp blijft dus hetzelfde.”
En wat is reproductie?
“Dat is werken met dezelfde vraag, methode en data. Daarbij ga je proberen letterlijk na te doen wat een historicus eerder heeft gedaan. Dan is de enige vraag: ‘Kom ik tot precies dezelfde conclusies?”
Waarom wordt replicatie zo weinig toegepast in de geesteswetenschappen?
“Het is allereerst confronterend voor historici, inclusief mijzelf, om gerepliceerd te worden. Replicatie houdt namelijk in dat een onderzoek wordt herhaald en op zijn kwaliteit wordt beoordeeld. Omdat historici niet met herhaling van hun onderzoek bezig zijn, kan dat spannend zijn. Tegelijkertijd zijn collega’s binnen de geesteswetenschappen ook erg geïnteresseerd of replicatie binnen onze discipline mogelijk is.”
Bij de sociale en biomedische wetenschappen is replicatie aan de orde van de dag, nietwaar?
“Ja, in de zin dat er veel discussie over is. In de geesteswetenschappen wordt replicatie minder gewaardeerd, omdat het neerkomt op herhaling, iets wat al eerder is gedaan. Daarnaast is er bij historici sprake van een soort ‘corporatistisch reflex’. Dat is een reactie waarbij wetenschappers niet graag hun resultaten overboord willen gooien. Er wordt dan vermeden ‘dat de vuile was wordt buiten gehangen’. Het kan ook een schone was zijn, maar vaak is het nieuws dat een onderzoeker niet goed uitkomt.”
Waarom kennen de sociale en biomedische wetenschappen deze traditie eigenlijk wel?
“Dit soort wetenschappen werkt ontzettend veel met grote datasets, waarbij er een zoektocht is naar correlaties en andere verbanden. Hun type onderzoek leent zich goed voor replicaties.”
Over het algemeen is correlatie dus beter te onderwerpen aan replicatie?
Ja, in feite wel, want correlatie is gevoelig daarvoor. Kijk naar de exacte wetenschappen, daar is gewoon een duidelijke, sluitende vergelijking te geven. Bij biomedische wetenschappen gaat het bijvoorbeeld over de bloeddruk van een populatie na inname van een medicijn. Daar wordt een gemiddelde aan gehangen. Of neem de psychologie: in een experiment lieten wetenschappers deelnemers kijken naar plaatjes van biefstuk om vervolgens middels een spelletje te testen of ze nog goed kunnen samenwerken. Zij die keken naar vlees, bleken egoïstischer te zijn, wat kan worden beweerd door de variabelen te vergelijken met elkaar. Voormalig hoogleraar sociale psychologie/Wetenschapsfraudeur Diederik Stapel heeft dit onderzoek in feite nooit uitgevoerd, hij heeft de ingevoerde waarden zelf verzonnen. In 2011 werd hij daarom door de Universiteit van Tilburg ontslagen omdat er door een onderzoekscommissie was bewezen dat hij op grote schaal had gefraudeerd.
Is er een toegenomen behoefte ontstaan voor replicatie in de wetenschap door die affaire met Diederik Stapel? Ofwel: is er daarmee sprake van een vertrouwenskwestie?
Ja, die is er zeker. Er zijn eigenlijk twee problemen: ten eerste, de spectaculaire fraudezaken die naar boven zijn gekomen, waar Diederik Stapel het beste voorbeeld van is. In de sociale wetenschappen zijn er veel meer voorvallen geweest de afgelopen jaren waarbij onderzoekers data zelf hebben ingevuld. Het tweede probleem is dat er bij de questionable research practices soms net een bochtje af wordt gesneden, niet geheel zuiver op de graat. Een voorbeeld is p-hacking; sjoemelen met de p-waarde, die bepaalt of er een kans is dat een uitkomst niet klopt. In het geval dat één afwijkende variabele de p negatief beïnvloedt, komt het weleens voor dat die waarde wordt verwijderd.
Onderzoekers halen daarmee de uitschieters weg om hun vermoedelijke trend te bevestigen?
Ja, juist.
Zijn dit de enige twee zorgelijke problemen?
Nee, want hiermee samenhangend is salami-slicing, het verschijnsel dat wetenschappers op zoek gaan naar de kleinst publiceerbare eenheid. Dit omdat ze hun beoordeling krijgen op basis van het aantal gepubliceerde artikelen. Goed voor de individuele onderzoeker, maar voor de wetenschap een doorn in het oog: onderzoek dat in één artikel staat is beter te raadplegen en controleren dan dat het over tien artikelen verdeeld is. Het is niet echt fout, maar zeker problematisch.
Grijs gebied?
Ja, absoluut.
Voor grijs gebied zoals dit bestaat er toch peer-review? Denkt u dat replicatie een zinnige aanvulling is op de wetenschappelijke controles?
Wetenschap is niet alleen maar vertrouwen op je eigen bevindingen, maar vooral een systeem van vertrouwen op anderen. Je docent of auteur van een boek vertrouw je, dat is immers de hoeksteen van de wetenschap. Mechanismen om dit vertrouwen te stutten zijn daarbij erg zinvol, waarvan autoriteit een belangrijk onderdeel uit maakt. Bijvoorbeeld, een hoogleraar uit Utrecht heeft meer autoriteit dan de stadsarchivaris van Vianen. Het is dus van groot belang om te controleren, omdat vertrouwen snel vanzelfsprekend is bij bepaalde wetenschappers. Daar kan de replicatie bij helpen, maar ik hoop niet dat alle historici dadelijk aan het repliceren slaan, want dan houd je geen tijd over voor het bedrijven van geschiedenis.
U haalde in uw paper On the use of replications in history een onderzoek over orgasmen aan dat gerepliceerd is. Zou men dit in de geschiedwetenschap ook moeten doen: onderzoeken die in het verleden zijn gedaan, nabootsen?
Dat zouden we zeker kunnen doen, naast ons huidige onderzoek. Het aandeel ervan zou zeker kunnen groeien, maar niet te veel. Uiteindelijk komt het neer op het verplaatsen van de vertrouwensvraag: welke van de twee onderzoeken, het oorspronkelijke of de replicatie, heeft het nu aan het juiste eind? De afweging blijft, ofwel de controle blijft cruciaal. Als je de methode gaat beschrijven in de inleiding moet de centrale vraag steeds blijven: ‘Kun je dit wel doen?’. Dat verbetert de kwaliteit van de geschiedwetenschap aanzienlijk, denk ik.
In hoeverre zijn de sociale wetenschappen en de geesteswetenschappen vergelijkbaar met elkaar? Op welke manier maken gelijkenissen met de sociale wetenschappen het mogelijk voor de geesteswetenschappen om te repliceren?
De verschillen zijn minder groot dan vaak wordt geschetst. Het grootste verschil is, denk ik, dat sociale wetenschappers in paniek schieten als er replicatie wordt toegepast, uit angst voor een totaal andere uitkomst. De historicus zal hier nooit last van hebben, wij voeren immers een discussie zonder eind.
Mist de sociale wetenschap dan debat?
Ik denk dat bij de geesteswetenschappen het er meer toe doet welke achtergrond je hebt, en het dus niet gek is dat er meer verschillende antwoorden zijn. Voor ons is replicatie dus niet problematisch.
Dan zou je toch zeggen dat replicatie juist iets voor de geschiedwetenschap is?
Dan zou ik zeggen dat ons historiografische debat eigenlijk al een soort replicatie is. Maar waar we nu naar op zoek gaan, is de kwaliteitscontrole. En niet zozeer om de uitkomst. Bij het historiografisch debat wordt iets toegevoegd, maar replicatie gaat nou net om het overdoen van iets wat al is gedaan, zonder nieuwe visie. Replicatie gaat erom hoe een visie tot stand is gekomen.
Vaak als die conclusie verschilt, heeft dat toch ook gevolgen voor de historicus?
We zijn nog niet helemaal in dat stadium nu. Dat komt doordat ons idee van replicatie is overgenomen van de biomedische en sociale wetenschappen: ‘Hoe komt een wetenschapper van A naar Z?’ De historicus schrijft vaak helemaal niet op die manier, volgens een vaste methode of protocol, omdat die/de historicus bronnen interpreteert. Daarom probeer ik de stappen in de sneeuw naar punt Z te analyseren. Dat maakt de reproduceerbaarheid bij de geesteswetenschappen danig anders dan bij andere disciplines.
Hoe kan die traceerbaarheid, die voetstappen in de sneeuw, worden vergroot door de historicus?
De historicus is van zichzelf al heel goed in een discoursanalyse, het uiteenzetten van de methode en het uitleggen van de context waarbinnen hij iets doet. Die schets is ontzettend belangrijk.
Dit vergroot dan toch ook de epistemologische waarde, ofwel datgene wat we als kennis beschouwen, van een methode?
Dat denk ik wel ja, zeker.
Denkt u dat de universiteit dit meer zou moeten verwerken in het curriculum?
Ja, zeker. En eigenlijk moeten de docenten bij zichzelf beginnen. We moeten veel helderder zijn over hoe je te werk gaat en hoe je dit juist verantwoordt. Het is vaak te vaag wat historici precies doen en daar is meer aandacht voor nodig. Vervolgens moet je hier een waardeoordeel aan hangen: ‘Vinden we dit voldoende?’ Of is het onvoldoende wat historici nu doen, of eigenlijk, zeggen wat ze doen?
Wat is een beetje de tendens onder historici die u spreekt over dit onderwerp?
Voor de duidelijkheid: we hebben alleen met hen gesproken die ook met dit onderwerp bezig zijn. Hun reacties waren soms wat geschrokken, zeker als het bevindingen betreft die henzelf goed in de spiegel doen kijken.
Toch weer die rillingen over de rug?
[lachend:] Ja, inderdaad.
Zeker wanneer zij dus zelf selectief zijn geweest?
Precies, als zij conclusies hebben getrokken waarvan je kunt zeggen dat er wel héél ruim geïnterpreteerd is, dat er duidelijk is gewinkeld in de bronnen. Soms is het ook gewoon slordig annoteren.
Refererend naar uw paper: u haalde collega’s op dit gebied, dr. Sarah de Rijck en dr. Bart Penders aan. Zij zijn geen voorstander van de replicatie omdat historici genuanceerd zijn en dat altijd blijven. Wat is uw visie op hun positie?
Tot op zekere hoogte hebben zij gelijk. Maar er zijn immers twee smaken; een conclusie klopt wel of klopt niet. De Rijck en Penders doelen vooral op de betekenis van onze discipline, waarbij geen goed of slecht zou bestaan. Het gaat er mij vooral om dat er een interpretatie wordt toegevoegd, wat de andere interpretaties immers niet minder waard maakt.
Er zijn toch wel interpretaties die meer gewicht leggen in de schaal?
Dat doet hier nu even niet ter zake. De rijkdom van interpretaties is goed, maar dat betekent niet dat er geen verkeerde interpretaties zijn, dat is de kern. Replicatie kan hierbij helpen.
U bent heel transparant over de hoge moeilijkheidsgraad van de replicatie. Daarbij tekent u aan dat de minimale reproductie heel aantrekkelijk is voor de geesteswetenschappen. Waarom?
Laat ik even beginnen met het volgende: maximale reproductie is van a tot z de stappen van een wetenschapper volgen volgens een taartrecept, zoals mogelijk is bij de biomedische en sociale wetenschappen. Dat gaat niet bij de geesteswetenschappen, omdat de historicus niet zegt hoeveel bloem nodig is, en welk bakmeel. Toch geldt: historici bakken taarten. Dan is de vraag: ‘Hoe is die taart tot stand gekomen?’ En nu vliegt de metafoor gierend uit de bocht, historici strooien wel overal broodkruimels, ofwel de voetnoten en ideeën. Aanons de opdracht om de taart terug te traceren naar de ingrediënten. De minimale reproductie is dus eigenlijk: de taart is ons uitgangspunt en vinden we dat de historicus goed heeft uitgelegd hoe hij daar is gekomen? En: wat hij heeft uitgelegd, is de manier van werken juist?
Volgens mij is die taartmetafoor zeer geslaagd, eentje waar onze lezers zeker van zullen smullen. Daarbij is maximale transparantie voor de geschiedwetenschap niet mogelijk, toch?
Nee, nu nog niet, maar wellicht in de toekomst wel. Als ze maar heel erg duidelijk uitleggen hoe ze aan hun resultaten komen.
Vreest u dan geen nóg langere papers?
Samen met politicoloog dr. Bram Mellink heb ik geschreven over hoe de geschiedwetenschap dit zou kunnen doen. Historici publiceren digitaal, maar zitten eigenlijk nog vast aan het formaat van papier. Dit geeft een enorme ruimtebeperking. De virtuele ruimte heeft een enorme potentie voor het aan elkaar ‘linken’ van artikelen. Dus ons voorstel: gelaagd publiceren. Onder de lopende tekst komt de verantwoording van de methode. In feite is dit net als elke laag in die reeds genoemde taart. De derde laag is die van de bronnen zelf met doi’s van artikelen en digitale bronnen. Dit is niet moeilijk, het is een kwestie van doen.
Echter zijn veel bronnen nog niet gedigitaliseerd, nietwaar? Dat is toch onvoldoende representatief?
Dat klopt, maar datgene wat het relevantst is, wordt zeker gedigitaliseerd.
Dat is toch heel subjectief?
Ja, maar doordat de digitale omgeving aantrekt, zal dit alleen maar toenemen. Historici zijn immers zelf de grootste voorstanders van digitalisering door het maken van foto’s of scans. Zij die de luxe hebben om de hele dag in het archief te zitten niet, maar die groep marginaliseert.
Maar het is toch niet ondenkbaar dat er bronnen worden gedigitaliseerd die een totaal andere kijk geven op historische zaken?
Dat zou inderdaad kunnen, maar voor de repliceerbaarheid maakt dat niet uit. Daar doe je namelijk wat er al is gedaan, dus dat geldt ook voor de beschikbare bronnen.
Toch zouden conclusies van de reproductie ook kunnen ondersneeuwen door nieuwe beschikbare digitale bronnen?
Zeker, en dat wordt vervolgens ook weer gereproduceerd. Er wordt geen toevoeging nagestreefd, maar een oordeel. We blijven gebonden aan wat er in het bestaande onderzoek gepresenteerd wordt. Nieuw materiaal doet niet ter zake, dus [lachend] in die zin zit ik altijd goed.
Welke (praktische) bezwaren zijn er volgens u nog wel rondom replicatie?
Het is een onbekende bezigheid, mensen weten niet wat het inhoudt. Hierdoor is replicatie wel een origineel onderwerp, maar we doen geen origineel onderzoek. Dat is tot op zekere hoogte een bezwaar, want stel dat ik tot de conclusie kom dat een onderzoek perfect is uitgevoerd, wil niemand dat publiceren. Terwijl, het zou gezond zijn als we dit compliment zouden geven. Het vergroot ons begrip van onze eigen discipline.
Is het dan denkbaar dat studenten in de toekomst kunnen promoveren op een reproductie die ze hebben gedaan van een ander onderzoek?
Wellicht is het voor een promotie niet voldoende, maar het moet zeker onderdeel worden van het vaste repertoire van de historicus. Wij docenten zouden dit om de tijd moeten doen, denk ik. Zelfs voor de bachelor, dat daar een vak voor komt. Nu is de deugdelijkheid vooral gericht op het voorzichtig zijn met annoteren, kritisch zijn op je bronnen en af en toe een beetje durven. Daar moet toch meer zijn? Hoe doet de historicus dat dan precies, kritisch zijn op een bron? Met reproductie kun je dit laten zien.
Helpt dit de historicus integerder te maken?
Dat denk ik zeker, ja. De geschiedenis is een specifieke wetenschap. Als we daar aanspraak op willen blijven maken, moeten we kunnen vertellen hoe we aan resultaten komen. Daar draait de wetenschap immers om, om de methode naast de deugden en waarden. Mochten we dit meer doen in de toekomst, wordt de geschiedwetenschap daar alleen maar sterker van.
Pieter Huistra wilde nog benadrukken dat hij dit project doet samen met Pim Huijnen. Alles wat hij zei, wordt door Pim onderschreven en zij hebben alles samen gedaan.
Dit interview is bedoeld om lezers te activeren, de handschoen te doen oppakken om na te denken over de verbetering van de discipline op transparantie. Replicatie is daar een uiterst geschikt middel voor.
Lees verder
- Pim Huijnen, ‘De Passie van… Pim Huijnen: Geschiedonderzoek in podcasts stelt de zoektocht centraal, niet het resultaat.’ Historisch Tijdschrift Aanzet 37, no. 1 (2021): 28-32.
Boris Wesseldijk is derdejaars student Geschiedenis aan de Universiteit Utrecht en heeft de specialisatie Politieke Strijd in Modern Europa gevolgd. Ideeëngeschiedenis en haar politieke gevolgen binnen de overheid behoren tot zijn belangrijkste interesses. Dit is de reden dat hij momenteel ook de minor Bestuurs & Organisatiewetenschappen (B&O) volgt.
Beeld bovenaan: Achter de Dom, Universiteit Utrecht. Het is een van de gebouwen van de universiteit waar Pieter Huistra werkzaam is. Bron: Pixabay.
