Dat is een van de oorzaken van het feit dat de meeste wetenschappelijke publicaties onjuist zijn. Hoogleraar John Ioannidis van de Stanford universiteit bij San Francisco heeft in 2005 een onderzoek gepubliceerd dat als een bom insloeg. Van de resultaten van 49 prestigieuze publicaties op het gebied van geneeskunde konden de meeste meteen de prullenbak in. En wat voor publicaties in de geneeskunde geldt, geldt voor alle vakgebieden volgens Ioannidis.
In de publicatie uit 2005 getiteld “Why Most Published Research Findings Are False” schrijft hij in de Summary: “There is increasing concern that most current published research findings are false.” Oorzaken: … a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. ”.
De gedegenheid van deze publicatie is nagenoeg onbetwist en de conclusies van Ioannidis worden daarom in de wetenschappelijke wereld breed gedragen. In een recent interview met de Volkskrant schetst hij behalve de hierboven genoemde oorzaken nog enkele andere die interessant zijn. Zo zijn er vaak verwachtingen over de uitkomst van een onderzoek. Hij zegt: “ Tot op zekere hoogte heeft het te maken met verwachtingen. Als je verwacht een bepaald fenomeen te ontdekken en je gaat er met meerdere onderzoeksteams naar op zoek, dan is er altijd wel iemand die gewoon op grond van het toeval resultaat boekt. Daarvan zeggen we dan: die heeft het ‘ontdekt’. Zo iemand krijgt de eer, de roem en de media-aandacht. Maar in feite is het gewoon toeval dat hij de meest spectaculaire resultaten heeft behaald te midden van alle middelmatige of niet gevonden resultaten. Ja, en als men daarna meer onderzoek naar hetzelfde verschijnsel doet, kun je verwachten dat je kleinere effecten en misschien helemaal geen effect meer vindt.‘”
Bovenstaand voorbeeld gaat zeker op voor onderzoek naar klimaatveranderingen waar deze blog over gaat. Vele malen is er over de relatie tussen mens en opwarming gesteld “The science is settled” en “99% van de klimaatwetenschappers is het er over eens dat…enzovoorts”. Dat schept verwachtingen. Onderzoeksresultaten die niet voldoen aan die verwachtingen worden genegeerd of belachelijk gemaakt. Voorbeelden te over in de klimatologie.
Een andere belangrijke factor is verwoord in de titel van dit bericht: het is wetenschappers niet toegestaan om níét iets te vinden. Dat heeft te maken met de mores in de universitaire wereld en de manier waarop veel onderzoek gefinancierd wordt. Ioannidis: ‘Je moet beseffen: het is wetenschappers niet toegestaan om níét iets te vinden. Het is hun werk om dingen te ontdekken. Anders krijgen ze geen financiering, maken ze geen promotie, krijgen ze te horen dat ze geen goede wetenschapper zijn. Onderzoekers zullen alles doen wat in hun vermogen ligt om significante resultaten te halen en te beweren dat ze iets hebben ontdekt. Dat is niet verkeerd; het is gewoon onderdeel van wetenschappelijk onderzoek: ik ga nog eens beter zoeken in mijn data, mijn gegevens op een nieuwe manier doorzoeken – allemaal om iets te vinden.’.
In de Volkskrant hebben ze de criteria uit de publicatie van 2005 waaraan je de ‘waarde’ van een publicatie kunt afmeten nog eens op een rijtje gezet:
1 Het onderzoek is gedaan door slechts een of enkele onderzoekers.
2 Het onderzoek staat niet in een erkend wetenschappelijk vakblad.
3 Er is maar een beperkt aantal proefpersonen of onderzoeksobjecten onderzocht.
4 De ontdekking is nieuw en geen herhaling van iets dat wetenschappers al eerder ontdekten.
5 De onderzoekers of hun instelling hebben een persoonlijk belang bij de uitkomst.
6 Het onderzoek is gefinancierd door een bedrijf of andere belanghebbende partij.
7 Het gaat om een spontane ontdekking in de data, niet om de systematische toetsing van een hypothese.
8 Het onderwerp is modieus.
9 De ontdekking gaat in tegen het gezond verstand.
10 De ontdekking bevestigt een ingebakken vooroordeel.
Studies naar klimaatverandering zijn de afgelopen jaren erg in de mode geweest en de fondsen voor dergelijke onderzoeken leken schier onuitputtelijk. Dat de uitkomsten conform punt 10 moesten zijn stond vaak al van tevoren vast. Klimaatverandering is de afgelopen jaren een zo beladen onderwerp geworden, vooral ook door de vaak felle maatschappelijke discussies erover, dat het gevaar van ‘confirming science’ levensgroot op de loer lag en helaas nog steeds ligt.
Lastig is dat sommige punten elkaar bijten. Zo zullen vooraanstaande wetenschappelijke bladen hun vingers niet snel branden aan uitkomsten die politiek-maatschappelijk minder goed liggen. Het zal niet de eerste keer zijn dat een hoofdredacteur zijn biezen moet pakken vanwege de publicatie van een onderzoek dat niet lekker ligt bij belanghebbenden. Om in de topbladen terecht te komen moeten de uitkomsten spectaculair zijn. Zijn ze dat niet (de kans is dan wel groter dat je dichter bij de waarheid zit) dan moet je als onderzoeker je heil zoeken bij minder bekende bladen. Het kan verkeren.