Als je verwachtingen van een onderzoek niet uitkomen, klopt de methode niet of is de steekproef te klein. En wat doe je dan als opdrachtgever? Tja, dan herschrijf je de conclusies. Tot ontzetting van de onderzoekers.
Het overkwam medewerkers van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) die een onderzoek uitvoerden naar de legalisering van wietteelt in opdracht van het ministerie van Justitie en Veiligheid, zo vertelde klokkenluider Marianne van Ooyen aan Nieuwsuur. Afgelopen week debatteerde de Tweede Kamer over de onafhankelijkheid van het onderzoeksinstituut met verantwoordelijke minister Ferdinand Grapperhaus. Wetenschap behoort onafhankelijk te zijn, en ‘dit had zo niet mogen gebeuren’, zei Grapperhaus meteen al toen dit bekend werd.
Het is een klassiek geval van de confirmation bias, de bevestigingsfout, een variant op de populaire uitdrukking: ‘Wij van WC-eend adviseren WC-eend.’ De leiding van het ministerie wilde zo graag dat haar beleid ondersteund werd dat ze de onderzoeksresultaten ten minste twee keer manipuleerde. Het bracht de onderzoekers van het WODC in een lastig parket, want juist wetenschappers zijn beducht voor de bevestigingsfout: ze hebben in hun onderzoeksmethodes controles ingebouwd om zich niet te laten beïnvloeden door hun verwachtingen. Maar wat als de opdrachtgever onwelgevallige resultaten doorstreept? Als het onderzoeksinstituut niet echt onafhankelijk is?
De spanning tussen het politieke beleid van een ministerie en onafhankelijk wetenschappelijk onderzoek heeft wel vaker tot dit soort fouten geleid. Dagblad Trouw zette ze onlangs op een rijtje. Zo pasten in 2010 Wageningse wetenschappers op aandringen van een rijksambtenaar hun rapport over visteelt in Nederland aan. De aanpassing kwam het ministerie goed uit vanwege een rechtszaak met een Limburgse viskweker.
De WODC-affaire doet me ook denken aan een van de voorgangers van de huidige minister op Justitie en Veiligheid, Ard van der Steur, die de patholoog-anatoom George Maat beschuldigde van het delen van ongepaste informatie over de ramp met de MH-17. In een brief aan de Tweede Kamer over deze kwestie lakte Van der Steur de passages weg die Maat vrij pleitten. Een directere vorm van de confirmation bias kun je je bijna niet voorstellen.
Selectief shoppen in onderzoeksresultaten is verleidelijk en voor je het weet doe je het zelf ook. Voor het menselijk brein is het immers gemakkelijker om congruente informatie te filteren, om overeenkomsten te vinden, dan afwijkingen of verschillen. Niet alleen wetenschappers, maar ook politici en beleidsmakers zouden dit moeten weten en checks and balances moeten inbouwen.